- 博客(5)
- 收藏
- 关注
RSS订阅原创 1、JDK安装
很多次安装JDK都需要在网上搜索一下应该怎么来配置路径，此文章献给和我一样安装过多次还依然需要看别人教程来配置变量环境。环境变量（我的电脑->属性->高级属性->环境变量配置） 首先要弄懂三个概念： 1、PATH： 在运行程序命令时计算机会自动去搜索程序运行路径 在C:\Program Files\Java\jdk1.6.0_39\bin路径中我们可以找到...
2018-07-18 12:44:54
202
原创 hadoop集群搭建
前言：这两天刚学习了hadoop，想把知识梳理一下，写得有问题的地方望各位大佬指教。 此次我都集群是搭建在我自己的虚拟机上的，vm上安装的是centOS7，在虚拟机上克隆了三个系统来构成集群。 一、系统基本配置 1、修改主机名 在系统目录中修改/etc/sysconfig/network 修改内容为hostname=hadoopn 在三个系统中分别都修改下...
2018-07-03 21:08:55
157
原创 spark统及文件中单词数
统计文档中单词数 def main(args: Array[String]): Unit = { val conf= { new SparkConf().setMaster("local").setAppName("Top") } val sc=new SparkContext(conf) val rdd=sc.textFile("D:\\word....
2018-06-30 19:12:08
543
原创 Spark统及单词数
val rdd=sc.makeRDD(List("hello world","hello spark","hello flume","helle hadoop")) val rdd_r=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey((x,y)=>x+1) //理解明白x=>x是含义，将函数给拆分
2018-06-30 15:13:37
315
原创 开篇之旅
作为一名学习编程的人，总觉得不写点东西留下来 总会觉得很遗憾，所以今天就下定决心开是养自己放写微博的习惯。使得自己在学习的道路上能留下一点足迹，让自己可以看见自己的成长轨迹。 另一方面，将只是写出来就达到了一个温习的过程，希望自己能慢慢用心去记录自己的成长历程。 多一点积累，多一份成长。...
2018-06-29 21:26:09
143
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人