intel实习
yb3232
这个作者很懒,什么都没留下…
展开
-
配置spark+hadoop(hdfs)集群
这两天接到的任务是在全新的服务器上搭建spark+hdfs集群,用于测试刚刚release的工程。master:sr288(10.1.0.188)slaves:sr494(10.1.2.94)sr495(10.1.2.95)sr496(10.1.2.96)sr497(10.1.2.97)由于hdfs需要ssh进行通信,而且文件传输scp也需要ssh。我第一步是建立起所有原创 2015-07-02 15:41:43 · 651 阅读 · 0 评论 -
intel实习第一个月总结
在intel的spark实验室实习已经一个月了,在和蔼的主管以及学弟的帮助下逐渐熟悉spark相关的编程环境。在编写了一个并不算成功的lsh算法后,是时候做出总结继续前进了。第一周 除了在公司以及自己的电脑上配置spark和编程环境以外,这周开始调研中文分词的工具,要求速度快拥有apache的license并且能够和开源的搜索框架相结合。最后把目标锁定在ik-analyzer以及ansj原创 2015-06-02 19:43:06 · 1726 阅读 · 0 评论 -
intel实习第二个月总结
度过了浮躁的第一个月,第二个月开始接手Trumpet的测试任务,要求在月底之前完成Trumpet中Bicluster,SVD,LinearRegression的性能优化并发布第一个release。第一周follow up,在学弟离职前学习如何修改scala代码,编译并在集群上运行。在集群上部署spark的分析系统dew并生成分析图表,用于分析spark运行阶段的各个stage的情况,内存使原创 2015-08-02 15:43:40 · 1031 阅读 · 1 评论