- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 K-Means算法设置值的含义
我看了很多资料,关于设置值很多都是的说一下,对于我这个半路出家的,不好理解,所以自己一个一个的去找,然后理解,就把解释写得更清楚一点。 K-Means有两个缺点: 1.K值需要指定 2.初始点选取 K-Means ++就是要解决第二个问题的。 k 表示期望的聚类的个数。 maxInterations 表示方法单次运行最大的迭代次数。 runs 表示算法
2018-01-14 19:47:16 3425
原创 hadoop pig store保存输出格式设置USING PigStorage
mapreduce之后我们想把文件保存下来,变成csv的格式,我们就在store保存语句后面加上USING PigStorage(','),发现一个问题就是在每一行最末端也自动加了逗号,这个使我们sqoop把文件导入数据库出现格式错误,怎样把最后的逗号去掉呢?找了很久,终于找到, 在pig的安装路径conf/pig.properties加上了这个参数 textinputform
2018-01-12 14:59:51 1123
原创 hadoop-HDFS运行原理
1.外部是怎么跟namenode、datanode联系? 有外部要求读取数据的时候,外部会让一个客户端client,来执行这个命令,这个客户端不会直接去跟namenode、datanode直接操作,是用调用了对象的一个类,跟namenode联系的时候是通过这个Distributed FileSystem这个对象,客户端的执行命令是读取,那就是调取这个对象的open方法,然后这个对象对na
2017-12-13 17:51:51 179
原创 Mapreduce工作机制(一)框架
JobTracker是一个皇帝,在一个集群中只有一个,他有个太子是secondnamenode,在皇帝宕机的时候,需要人为去启用secondnamenode这个太子,下面那些节点就是皇帝的官员,可以有很多个,TaskTracker是这些官员的指挥中心,一边跟皇帝联系一边指挥自己节点执行任务,DataNode主要是放每个节点里面要处理的数据。。。mapreduce程序可以在任何节点上面提交给JobT
2017-11-28 13:31:38 644
原创 SQL的函数---3th
SQL的函数就是对表里的列的内容进行操作之类的了1.我想要把列表上的数值选择保留多少小数位数(四舍五入),用ROUND( ) SELECT ProductName,ROUND(UnitPrice,0) as UnitPrice FROM Products2.我想要一个列的平均值,用AVG()3.我想知道我指定的那一列的行数,用COUNT(),其中还有null不计入,也可以返回指定列的不同值的行数
2017-11-26 10:53:02 316
原创 SQL的高级语句---2th
1.我查询之后我只想显示前面几个或者显示几成就好,这时用select top 2(50 percent)*from persons2.想显示列表字符经过筛选后的,在where 列名称 like ‘%g’或’a%’或’%oo%’…就是把那一列符合这个字母结构才显示出来。例如’g_o_le’(_代替一个字符),’^[GFS]’是指选取以GFS字母开头的,’^[A-H]’是选取以A到H字母开头的,’^[^
2017-11-26 10:50:35 294
原创 SQL基础语句---1th
简单对数据操作:查询,插入,更新,删除 查询 select列from表,就是将那个列单独显示出来,因为有些列里面的名称是重复的,想要只显示一个,就用select distinct 列 from 表 如果想要对显示的这个列在进行限制范围,就用where进行选择,列 运算符 ‘文本’或者是数值 接下来就看你筛选出来后要不要排序了,后面再加order by(升序)order by…desc(降序) 我们要
2017-11-26 10:11:32 154
转载 研究生手册(二)
引子 Before you try... Before you try to solve a problem, define it. Before you try to control a process, understand it. Before trying to control everything, find o
2017-11-26 09:44:02 313
转载 研究生手册(一)---论文篇
这是我的第一个博客,以后就坚持践行,修行~没有修哪来的行 以下是我转自台湾清华大学彭明辉教授的研究生手册,跟大家一起努力前行,希望三年后能够做到。。。 --------------------------------------------------------------------------------------------------------------------------
2017-11-26 09:31:01 920
开关电源设计第二版
2014-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人