- 博客(24)
- 收藏
- 关注
RSS订阅转载 Spark-12
1.spark SQL统计查询----------------------- thriftSerer2,让sparkSQL作为分布式查询引擎。 通知jdbc协议直接访问。 cluster集群部署模式 local standalone //独立,master worker yarn //y...
2018-08-03 15:21:12
143
转载 Spark-11
spark集群部署模式----------------- 1.local 本地模式 2.standalone 独立 启动spark集群。 master worker 3.yarn 不需要启动spark集群。 Resourcemanager.作为spark的c...
2018-08-03 15:20:29
183
转载 Spark-10
Spark集群部署模式--------------- 1.local 2.standalone 3.mesos 4.yarnSpark闭包处理--------------------- RDD,resilient distributed dataset,弹性(容错)分布式数据集。 分区列表,function,dep Option(分区类, P...
2018-08-03 15:19:20
161
转载 Spark-09
r = urllib.request.urlopen()data = r.read() //bytesr.close();f = open(,'wb')f.write(data);f.close();pattern = "<a\s*href="([...])">" ;re.finditer()python + hbase------------------...
2018-08-03 15:18:42
119
转载 Spark-08
python------------ 脚本语句。 /usr/bin/python //2.7.5使用缩进格式---------------数据结构------------- 1.list,类似于Array,可变 [1,2,3,4] 2.tuple,元组，不可变 t = (1,2,3,2,4) ...
2018-08-03 15:17:26
86
转载 Spark-07
机器学习------------ 监督学习: //具有训练数据 //分类,预测,classify //朴素贝叶斯分类器。概率的问题。 //生成函数。 非监督学习 //没有具有训练数据line regress-----...
2018-08-03 15:16:50
178
转载 Spark-06
Spark stream------------- [DStream]: 离散流,连续的RDD序列。准实时计算。batch,秒. DStream.map() DStream.updateStateByKey();batch interval :批次的间隔.windows length :窗口长度,跨批次。是批次的整数倍。slid...
2018-08-03 15:15:59
108
转载 Spark-05
Spark SQL-------------- 使用类似SQL方式访问hadoop，实现MR计算。RDD df = sc.createDataFrame(rdd); DataSet<Row> === DataFrame ==> //类似于table操作。SparkSQL java----------------- public cla...
2018-08-02 18:00:59
95
转载 Spark-04
核心类------------- Stage子类 ShuffleMapStage ResultStage Task: ResultTask ShuffleMapTask ActiveJob:Dependency:依赖------------- NarrowDependency: 子RD...
2018-08-02 17:58:29
158
转载 Spark-03
sparkH-------------- transformation map filter repartition ... reduceByKey() action reduce count take first collect()Spark核心API----------------- ...
2018-08-02 17:57:32
147
转载 Spark-02
Spark-------------------- 通用性。Spark模块------------- Spark Core //核心库 Spark SQL //SQL Spark Streaming //准实时计算。 Spark MLlib //机器学习库 Sp...
2018-08-02 17:56:46
571
原创 创建一台新的虚拟机
解决无法使用yum命令问题1、验证yum是否正常安装了！在shell里面输入：yum --help ，结果显示yum已经正常安装了2、确保是root账号进行下面操作在shell里面输入命令：cd /etc/sysconfig/network-scripts在shell里面输入：vi ifcfg-ens33 ，随后回车，按"i"键，进入vi编辑模式，3、把“ONBOOT”的值修改为"...
2018-08-02 17:32:14
213
转载 Scala-01
scala------------- java语言的脚本化。 REPL----------------- read + evaluate + print + loop安装scala解释程序------------------ 1.scala-2.12.1.msi 2.进入scala命令行 //变量 scala...
2018-08-02 17:32:00
190
转载 Scala-02
scala------------- java语句脚本化。 object //静态成员 class //class trait //接口 def xxx(a:Int):Unit{} val //常量 var //变...
2018-08-02 17:31:48
133
转载 Spark-01
并行------------- 集群计算。 并行计算。并发------------- 并发执行。Spark------------------------ Lightning-fast cluster computing。 快如闪电的集群计算。 大规模快速通用的计算引擎。 速度: 比hadoop 100x,磁盘计算快10x...
2018-08-02 17:31:33
125
转载 Scala-03
scala------------- class //类 object //单例对象，静态成员所在组件。 trait //接口 extends with xxx with yyy模式匹配:类似于switch--------------- //1. val x = '9' ; x match{...
2018-08-02 17:31:20
169
转载 centos基本命令
centos基本命令--------------------------- CentOS Windows $>ls cmd>dir // $>ls --help //查看命令帮助 $>man ls //查看命令帮助 ...
2018-07-17 09:33:23
478
转载 centos相关知识
目录和权限---------------- [Linux文件类型] - //文件 d //目录 l //链接,类似于windows快捷方式. b //block,块文件。 c //字符文件...
2018-07-17 09:32:15
261
原创 Linux常用指令
Tab键 自动填充mkdir 创建路径touch 创建文件pwd 显示当前的路径（绝对路径）chmod -r-w-x 进行赋权umask 777 进行赋权cp 源，目 复制文件cat 文件名 输出指令，输出文件信息cal 输出日历时间cp -r 复制目录mv 移动或者重命名ls 查看当前文件ls -l 查看文件权限ls -r 递归...
2018-04-19 23:19:46
85
翻译 JAVA_chap03
第三章： Expressions and Flow Control(63-83) 程序的基本功能是处理数据 程序用变量来表示数据； 程序中必须先定义变量才能使用； 定义变量是指设定变量的数据类型和变量的名字，Java语言要求变量遵循先定义，再初始化，然后使用的规则。变量的使用有一个作用域的问题，作用域是指它的存在范围，只有在这个范围内程序代码才能访问它...
2018-04-09 23:03:22
284
原创 JAVA_chap02
第二章： Identifiers, Keywords and Types(40-63)目标： 1. 标识符、关键字和类型介绍； 2. 如何构建类?------------------------------------------------------------java.lang.Object 是所有java类的父类1. 注释作用：使部分内容只为程序员可见，不为编译器所编译...
2018-04-09 19:17:36
270
原创 JAVA_chap01
目标： 1. Java背景知识介绍； 2. Java开发环境设置； 3. 编写、编译、运行Java程序的过程；------------------------------------------------------------JDK主要包括内容：a. Java虚拟机：负责解析和执行Java程序。Java虚拟机可运行在各种平台上；b. JDK类库： 提供最...
2018-03-30 18:57:57
229
原创 shell学习笔记
- 表示文件x 表示执行权限echo 输出变量./ .sh 执行脚本 #!/bin/bash 指定解释器 第一行，顶行写Flag=0 变量不需要提前声明。=前后不能加空格 输出菜单：cat << eof(变量名) 要输出的内容eof （顶格写） $变量名 用户间接赋值:read –p “Gav...
2018-03-30 18:35:47
145
原创 编程小白开始写博客
我认为，程序员的薪资跟技术水平有很大的关联。所以要提高自己的薪资水平，先让自己的实力提高起来。 提升技能是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以: 贵在坚持与选择！坚持写博客，把自己最近学到的知识总结起来。温故而知新。。。
2018-01-29 19:24:24
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人