weixin_45810046的博客

原创 余老师带你学习大数据-Spark快速大数据处理

第五章

原创 余老师带你学习大数据框架全栈(精简版)-第五章 HBase-第二节 HBase基本操作

余老师带你学习大数据框架全栈(精简版)

原创 关于松鼠学苑

松鼠学苑发展历程主营业务She教研解决方案1、远端浏览器，从Google、GitHub、Maven等获取技术资源不再有羁绊。2、基于Devfile的、一键式、无差别构建，基于账号的隔离独享环境，基于浏览器的全新开发模式，让你和你的 小伙伴的软件工程环境精准的一致，而且能随心所欲的创建一个新的属于你的环境。3、全系列、分步骤镜像，让你的大数据能够从任一成功阶段继续，从裸Linux到Zookeeper、Hadoop、Tez、 Hive、Spark、Oozie、HBase，到Kafka、Flink、

原创 余老师带你学习数据库

数据模型是数据库系统的核心和基础，通常由数据结构、数据操作和完整性约束3部分组成，各种DBMS数据库都是基于某种数据模型的，通常也按照数据模型的特点将传统数据库系统分成网状型数据库、层次型数据库和关系数据库3类数据库。（非关系型数据库NoSql，odbms）

原创 松鼠学苑师资培训邀请函

项目背景与研究内容：C、Shell、Python、Scala的大规模数据处理程序的执行效率对比分析，引出大规模数据处理方法论变革的软硬件动因，并反向实证大数据变革的技术驱动；大数据底层编程语言MapReduce的设计思想；以需求为导向阐述大数据集群结构与大数据生态体系。

原创 She平台的解决方案

终端只有一个菜单项，点击此菜单（>_ New Terminal）可以创建一个终端，对于Linux类的容器来说，在面板区创建一个命令行操作界面。于是，一套开发环境便创建成功。典型的，She平台的课程环境界面包括5个区域（某些课程环境并不一定全部包括这些区域）：主菜单、代码explorer控制菜单、代码explorer区、面板区、容器操作区，这些区域设计能够满足所有教研实训需求。状态悬停：开发环境具有悬停功能，所有启动的软件工具均运行在云端后台，关闭开发界面后，开发环境仍保持最后一次更改的状态；

原创 Shell编程案例分析-俄罗斯方块程序

原创 She平台操作系统安装指导材料

安装Ubuntu18.04.6，官方安装iso文件地址：注意，不要选择live版本的iso镜像；可启动U盘刻录选择ubuntu推荐的工具Win32DiskImager，而不能选择刻录Windows等镜像的Universal-USB-Installer，后者安装是选择网络下载模式、或者说boot没有链接到U盘中的离线安装包。

原创 基于docker虚拟化技术的传统web系统的部署实施与运维管理

Nginx是一个高性能的HTTP和反向代理Web服务器，同时也提供IMAP/POP3/SMTP服务。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3/SMTP）代理服务器。Nginx的特点是：占有内存少，并发能力强。Nginx专门为性能优化而开发，性能是最重要的考量，非常注重效率，事实上Nginx的并发能力在同类型的网页服务器种表现较好，能够支持高达50000个并发连接响应数。

原创 深度学习-图像分类任务

在tf.nn.conv2d函数中，当变量padding为VALID和SAME，函数具体是怎么计算的呢？其实是有公式的。输入的尺寸高和宽定义成：in_height，in_width卷积核的高和宽定义成filter_height、filter_width输入的尺寸中高和宽定义成output_height、out_width步长的高宽方向定义成strides_height、strides_width.

原创 She平台使用手册

1、创建Java Web。2、进入欢迎界面3、左侧是程序源代码，右侧是容器。4、容器介绍：两个容器mysql数据库和tools容器，tools容器是java开发以及Spring的工具也就是Devfile。Plugins是包括编辑器和跨域访问的组件。1、进入mysql的命令行；2、预设置的初始化数据库命令；3、数据库的端口；4、进入工具的命令行；5、预设置的安装Maven命令；6、预设置的运行webapp命令；7、8080端口。5、运行程序，先初始化数据库。点击prepare database。

原创 用户反馈问题与解答

Q：在选定一个Devfile后，找不到创建对应Workspace按钮。A：在页面底部有“CREATE & OPEN”，如下图所示，我们会更新版本，在私有环境模式下将这个按钮固定在页面上方。

原创 userman

2、在用户后台界面中点击APPLY FOR FREE按钮，进入申请免费授权使用页面。1、登录She平台，点击My Acount进入用户后台。完整填写自己的信息然后点击Apply则完成申请的提交。4、申请被Approved的界面。这个页面中包括三个区域，其中。提交完成后，界面如下，

原创 admin

1、登录She平台，点击My Acount进入管理员后台。授权成功后，在学生列表页面中可以查看授权状态，

原创 createhdcluster

具体地，She提供3个Workspace，并由这3个Workspace组成大数据集群，这三个Workspace分别以hadoopc1、hadoopc2、hadoopc3命名，而不管这3个Workspace镜像所对应的是哪个阶段。到可期的Kafka、Flink、Ambari，All in One的Jupyter，最新版本的TensorFlow，使用你擅长的任一语言，Python、Java、Scala、R、Julia，这都成为你开启大数据应用开发教学、研究、学习之旅的必备利器。大数据集群搭建与调优。

原创 coursera

She使用手册课程平台使用指南She`s Coursera是She平台上有关大数据的课程。左侧为目录，右侧为内容右侧第一个按钮为隐藏目录右侧第二个按钮可以换背景颜色，默认为黑色的第三个为搜索按钮，在搜索栏中输入想要搜索的关键字，下方会自动出现相关内容

原创 createuser

1、管理员用户可以创建学生账号，这通常用于She平台高校本地部署的版本、且机房服务器端没有外网权限的情况。2、可重置学生账号的密码，其中密码是随机生成的。3、删除创建的学生用户及其占用的资源。4、根据邮箱精准查找用户。

原创 admin

此外，是否添加学生、是否授权均与该学生是否注册无前后因果关系：当在后台添加学生时，该名学生可以是还没有注册状态；She平台将教学班级和组织结构班级分开管理，组织结构里有班级、教师、学生三个管理子模块，其操作方法和教学班级、选课学生的操作方法一致；此外，可以在组织结构的班级里选择学生加入到相应的教学班级中。注意：当在一个tab页（当前tab页）中操作时，可能会更改另一个tab页（关联tab页）的内容，但是当前tab页的操作并不会刷新关联tab页，需要关闭关联tab页再次打开才能显示更改后的内容。

原创 readme

点击红色框的图标可以展开/关闭左侧导航栏。在绿色导航栏中触摸滑动可以看见更多导航菜单。这里提及的地址 http://she.kinginsai.com、http://she-she.dev.kinginsai.com 均为She平台C端版本地址，对于部署了She平台的高校用户，请使用私有部署的地址。由于微信可能会有网页缓存，可以点击页面刷新获取最新内容。手册、课程平台等会不定期更新，如果您的微信页面缓存时间正好在更新周期内、则可能浏览的是过期的页面内容。

原创 第十四章 数据可视化分析

数据可视化分析

原创 余老师带你学习大数据框架全栈第十一章Flink第七节社交网络数据分析案例

该数据集包含2153471个用户，1143092个场所，1021970个签到，27098490个社交关系以及用户分配给场所的2809581评级；所有这些都是通过公共API从Foursquare应用程序中提取的。所有用户信息均已匿名，即用户地理位置也已匿名。每个用户都由一个id和GeoSpatial位置表示。场地也一样。数据包含在五个文件中：users.dat，containers.dat，checkins.dat，socialgraph.dat和rating.dat。

原创 余老师带你学习大数据框架全栈第十三章Hudi第二节spark

创建Hudi1、创建Hudi2、在app-11上进行三台机器的认证和启动集群命令：sudo /bin/bashcd /hadoop./initHosts.shsu – hadoopcd /hadoop/./startAll.sh通过Spark-shell启动3、Hudi是高度耦合Spark的，也就是说操作Hudi是依赖Spark。我们的Hudi是在app-13上，打开app-13并以hadoop用户登录。命令：su - hadoop4、通过Spark-shell启动命令

原创 余老师带你学习大数据框架全栈第十三章Hudi第一节核心技术

1.前言1.1为什么产生数据湖数据量比较大，越来越不满足处理结构化的数据，比如说数仓，数仓就是处理结构化数据。什么是结构化数据，就是数据成数据库来的，传统型的数据库有：MySQL数据库、Oracle、SQLserver，从这些库里面过来的数据都是结构化数据。日志、json、xml是属于半结构化数据，结构化数据和半结构化数据就是当前数仓所做的功能。数据湖的产生就是为了解决非结构化数据和二进制数据，主要就是处理非结构化数据，非结构化数据主要是：图片、视频、音频。1.2数据湖的性能特点1、新增支持特

原创 余老师带你学习智能终端-Android App开发第四章第三节Activity跳转和数据传递

Activity的几种跳转：一：显式调用方法方法一：Intent intent=new Intent(本类，将要跳转的类); startActivity（intent）；方法二：Intent intent2=new Intent();intent2.setClass(本类，另外将要跳转的类); (intent2.setClass(MainActivity.this,shoyeActivity.class);)startActivity（intent2）;方法三：（此方式可用

原创 余老师带你学习智能终端-Android App开发第四章第二节Activity生命周期

概述1.生命周期中各个方法的含义和作用（1）onCreate:create表示创建，这是Activity生命周期的第一个方法，也是我们在android开发中接触的最多的生命周期方法。它本身的作用是进行Activity的一些初始化工作，比如使用setContentView加载布局，对一些控件和变量进行初始化等。但也有很多人将很多与初始化无关的代码放在这，其实这是不规范的。此时Activity还在后台，不可见。所以动画不应该在这里初始化，因为看不到……（2）onStart:start表示启动，这是Ac

原创 余老师带你学习智能终端-Android App开发第四章第一节创建Activity三部曲

Activity创建三部曲 不可不会的Activity和FragmentActivity之前已经接触过了，可以简单的理解为当我们在APP上看到的每一个界面，这每一个界面都需要一个Activity，而Activity并不是界面，只能说一个界面需要一个Activity。Fragment是碎片化的界面，一个Activity可以包含有多个Fragment，Fragment是不能独立存在的，必须...

原创 余老师带你学习智能终端-Android App开发第三章第二节ProgressBar&ProgressDialog

ProgressBarProgressDialog 概述如上图所示，这个就是三种ProgressBar就是进度加载的过程，没有明确目的的就一直在转，有明确目标的是进度条。如上图所示，这个是ProgressDialog，一个对话框显示正在加载一个圈在转，提示正在加载，这是一种ProgressDialog。如上图所示，另一种是显示下载进度的，这里面其实进度条，这可是使用在许多场景...

原创 余老师带你学习智能终端-Android App开发第三章第一节Toast

Toast 概述学习第三章还是UI组件，是UI组件中的弹出组件，把它拎出来单独给大家讲解。首先，来学习Toast，在之前的学习中也用到了Toast，在屏幕的下方出现一个提示信息，在一秒钟或者两秒钟消失。现在就详细的讲解一下Toast的使用方法，Toast是一个消息提示组件；设置显示的位置，之前使用的是默认的位置，当然我们可以自定义设置在屏幕中的哪个位置显示；自定义显示内容，之前是显示...

原创 余老师带你学习智能终端-Android App开发第二章第五节ImageView

ImageView 概述这节课开始学习图片控件，再次之前已经讲过Button的控件和TextView，Button还有其他衍生类控件，比如说：ToggleButton、Switch（开关）。这两个就不再这里详细的讲解了，利用之前的学习基础，学习这两个控件是比较简单的，还有就是在实际开发中这两个控件的使用频率比较少，所以大家有兴趣的可以自己研究下。我们会讲下ImageView的常用属性。...

原创 余老师带你学习智能终端-Android App开发第二章第四节RadioButton

RadioButton 概述这节课来讲RadioButton，那RadioButton长什么样子呐？通常来讲在一个App中选择性别男和女，这个就是一个Radiobutton来实现的。因为这是在一组中选一个，一组中单选就是用RadioButton，当然要结合RadioGroup结合使用。首先讲一些常用的属性。还有自定义的样式，我们毕竟要根据实际的设计稿来自定义RadioButton样式。...

原创 余老师带你学习智能终端-Android App开发第二章第三节Button

Button 概述Button继承自TextView，它其实是TextView的子类。这节课主要讲Button的基本属性文字大小、颜色；还有一些自定义背景形状。那我们在实际开发中我们设计师设计出的按钮都不是那些直角的，颜色可以就可以的，都会略带一些圆角，这些我们要如何制作一个Button呐？接下来，我们会通过代码带大家一起制作。还有自定义按压效果，在按钮按下去，会有一个按下去的效果，按...

原创 余老师带你学习智能终端-Android App开发第二章第二节TextView

概述这节课主要讲的是TextView组件，通过几个效果来带大家认识这个组件。第一个是文字大小、颜色这些基本属性的设置；第二个是通常使用一段文本，内容显示不下使用…；第三个是中划线和下划线；最后一个是跑马灯的效果，就是一段文字一直在巡回跑。通过这四个效果，大家常用的属性就都可以掌握了。演示1、创建新的android工程2、打开AVDhttp-dev-server->vnc_lite.html->ADV3、将布局修改为线性布局管理器，添加TextView组件，设置id为tv1，高和宽

原创 余老师带你学习智能终端-Android App开发第二章第一节布局管理器

布局管理器一个页面上元素会有很多，会有很多的组件摆放在同一个页面上，这些元素的相互之间摆放的位置是如何确定的？他们之间的联系是谁来管理他们的？那么我们就是通过布局管理器来实现的。我们主要讲解两个布局，一个是线性布局还有一个是相对布局，当然在安卓体系中布局方式也是不止这两种还有包括帧布局、基本不用的绝对布局、网格布局。线性布局和相对布局是使用最为频繁，在百分之九十九的情况下用这两种就可以了，其他布局也一般不会使用，所以我们从最实际的角度出发，只讲这两个布局。线性布局最常用属性：android:id（给

原创 余老师带你学习智能终端-智能终端应用第一章第二节三种方式的开发流程

Eclipse流程1、点击下图红框的Eclipse工具栏按钮，进入AVD管理器界面2、点击AVD管理器界面的“Create”按钮，创建一个AVD3、启动AVD。 选择创建好的AVD，然后点击右侧“start”按钮，在弹出的窗口中直接点击“Launch”按钮4、点击菜单栏的File->New->Android Application Project，然后按照下图进行参数配置，点击Next进入下一步5、出现左图时选择“Empty Activity”，点击“Next”进入右图界面，点击“Fi

原创 余老师带你学习智能终端-智能终端应用第一章第一节Android初体验

智能手机操作系统对于智能手机大家都不陌生，现在大多数人使用的都是智能手机。而智能手机操作系统，就是智能手机所使用的系统，它和计算机的操作系统类似。目前，智能手机操作系统主要包括Android、iOS、Windows Mobile、Windows Phone、BlackBerry、Symbian、PalmOS和Linux等。2017年第一季度各智能手机操作系统占中国的市场份额如图所示。现在市场上最流行的就是Android和iOS。Android发展史2003年安迪鲁宾成立Android公司，20

原创 余老师带你学习大数据框架全栈第十二章Flume第十二节企业开发案例之聚合

5.3聚合实验目的:app-11 上的 Flume-1 监控文件/hadoop/test/group.log，app-12 上的 Flume-2 监控某一个端口的数据流，Flume-1与 Flume-2 将数据发送给 app-13 上的 Flume-3，Flume-3 将最终数据打印到控制台实验分析:实验步骤：一、实验前准备1.新建FlumeSqoopC1,C2,C3进入C1,一)进行三台机器认证切换到root用户。命令：sudo /bin/bash进入hadoop目录下并查看

原创 余老师带你学习大数据框架全栈第十二章Flume第十一节企业开发案例之负载均衡和故障转移

5.2负载均衡和故障转移实验目的：使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。实验分析：实验步骤：实验前准备：安装 netcat 工具1)先查看是否装有nc工具命令：nc –help或 netcat –help图示为未装。2)安装nc工具命令：sudo yum install -y nc切换到/hadoop/Flume/apache-flume-1.

原创 余老师带你学习大数据框架全栈第十二章Flume第十节企业开发案例之复制

5.1复制实验目的：使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。实验分析：实验步骤：一、实验前准备1.新建FlumeSqoopC1,C2,C3进入C1,一、进行三台机器认证切换到root用户。命令：sudo /bin/bash进入hadoop目录下并查看有哪些文件夹。命令：cd /ha

原创 余老师带你学习大数据框架全栈第十二章Flume第九节简单案例之Flume进阶--拓扑结构

4.3 Flume 拓扑结构一、简单串联这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。可以在同一台机器，也可以跨机器。二、复制和多路复用Flume 支持将事件流向一个或者多个目的地。这种模式可以将相同数据复制到多个channel 中，或者将不同数据分发到不同的 channel 中，s

原创 余老师带你学习大数据框架全栈第十二章Flume第八节简单案例之Flume进阶--Flume Agent 内部原理

4.2 Flume Agent 内部原理1.source接收数据2.封装事件，然后调用source里的channel processor获取channel。3.将事件传递给拦截器（可有多个interceptor，形成拦截器链，实现拦截器的复用，更加灵活。拦截器与业务相关性高，那就尽量把条件写在一个里面。因为与业务相干性越高，提供复用的可能性越低。）4.经过拦截器后又将数据返回，然后传给channel选择器。因为一个source可以绑定多个channel，如何绑定由channel选择器和选择策略控制