- 博客(13)
- 收藏
- 关注
RSS订阅原创 第五周总结：2018-03-26~2018-03-30
完成： RDD持久化、广播、排序遗留问题：1、累加器2、高级排序、topN3、没有学学习博客（RDD持久化、广播、累加、排序、topN）
2018-03-30 15:00:05
179
原创 第四周总结（2018-03-19~2018-03-23）
很明显，工作忙起来，学习的时间就少了完成：1、RDD创建、RDD基本操作2、上次的遗留问题解决：开发环境中导入相关的依赖就解决了，我具体导入了jdk、本地scala安装路径问题解决，不是大问题。...
2018-03-23 16:11:11
131
原创 第三周总结（2018-03-12~2018-03-16）
完成：1、Hadoop单节点集群（伪分布式Pseudo-Distributed Operation）搭建成功遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collect...
2018-03-16 16:25:32
202
原创 hadoop cluster（第二篇）关闭防火墙问题
参考链接：1、http://blog.csdn.net/zhxdick/article/details/51942405（Hadoop集群搭建）2、http://blog.csdn.net/u011831754/article/details/53402479（Hadoop集群搭建）3、http://blog.csdn.net/duan_zhihua/article/details/4839907...
2018-03-15 15:27:57
4308
原创 第二周总结（2018-03-05~2018-03-09）
又一周结束 了，这周感觉很漫长，因为周二遇到困难进行不下去了。还好走出来了!完成：1、破解了SecureCRT，可以使用WinSCP远程文件同步操作2、Hadoop的local mode跑通遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.r...
2018-03-09 14:40:32
202
原创 为什么（一）开始写spark后来写Hadoop
看了标题估计也能猜到，因为spark写不下去了！！确实是这样的。实际生成环境中spark的好多处理都是建立在spark集群环境上的，需要Hadoop集群（数据转换存储等操作）来配合spark，所以还是从Hadoop再开始。...
2018-03-09 14:21:03
266
原创 Hadoop cluster（第一篇）Hadoop cluster in Local（Standalone） Mode
按照Hadoop官网start Hadoop cluster ，参考链接http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html执行bin/hadoop命令后的显示：然后执行官网的操作验证：执行如下命令后的回显：bin/hadoop jar share/hadoop/...
2018-03-09 11:44:18
551
原创 瑜伽练习
坚持连续练习瑜伽3天，我就怀疑每天练习这样好吗？前三天发现我左膝盖有点疼，用力的时候腰部有点微微疼，估计是突然运动过度的原因，所以我昨天就没去，今天白天感觉好多了，刚开始的时候看着别人每个动作都做的很到位，漂亮，所以要去自己极致，这样对身体反而不好，所以我打算接下来的2周时间，动作跟着老师做，但适可而止，根据我的身体情况，逐步慢慢来，能达到轻盈的状态。轻盈：瑜伽人越是有长期一致性的练习，就...
2018-03-06 14:43:19
274
原创 spark内核解密
spark内核架构schulebackendacuterdriver:（application=driver+executor）standalone是spark自带的，效率比其他的好，一个计算框架就可以了、yarn SparkContext创建的时候要有高层调度器、底层调度器、schulebackend，向master注册程序，job stage taskschulerexecuter.drive...
2018-03-05 17:57:30
231
原创 第一周总结（2018-2-27~2018-3-2）
完成：1、Wordcount程序开发环境搭建,eclipse+intellj idea2、wordcount程序开发，本地单机运行，出统计结果3、结合源码追踪Wordcount中RDD数据流，并作出简单图示 遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: sc...
2018-03-02 11:01:46
178
原创 workcount中遇到的一个问题（关于版本）
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1434) ...
2018-03-01 17:27:07
321
原创 2018年3月1日（纪念一下）
工作以来，第一次名誉上升职：临时小组长。其实，我还是一个很容易被大家看得起的小兵。工作以来也是不断的受到肯定，2015年我在某公司也曾被提名担任小组长，2016年又一次提名担任小组长，并代理了1个月时间。现在这个事儿又落在我身上了，真是三生有幸。我内心是拒绝的，因为我知道，那意味着责任。对公司要拿出好的产品或者工作质量。对组员要让其有成长，有所得。所以我内心有抗拒，不想给自己压力。...
2018-03-01 11:33:27
497
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人