大数据
Gambit_hou
“理论”是你知道是这样,但它却不好用。“实践”是它很好用,但你不知道是为什么。程序员将理论和实践结合到一起:既不好用,也不知道是为什么……
展开
-
Hadoop开发入门与实践(二)
Hadoop开发入门与实践(二)一、Linux Hadoop环境开发(一)安装JDK1、下载Oracle JDK安装文件[root@localhost ~]# wget http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz2、解原创 2017-12-31 22:26:16 · 558 阅读 · 0 评论 -
Hadoop开发入门与实践(三)
Hadoop开发入门与实践(三)一、配置ssh免密码登陆1、查看隐藏文件:[root@xtwyhadoop ~]# ls -la [root@xtwyhadoop ~]# cd .ssh known_hosts 知道的主机2、生成ssh免登陆密钥[root@xtwyhadoop .ssh]# ssh-keygen -t rsa 3、查看生在的文件: 执行完这个命令后,会生成两个原创 2017-12-31 23:40:27 · 460 阅读 · 0 评论 -
Spark开发入门与实践(一)
Spark开发入门与实践(一)(一)Spark简介 Spark于2009年诞生于加州大学伯克利分校AMPLab。目前,已经成为Apache软件基金会旗下的顶级开源项目。 相对于MapReduce上的批量计算、迭代型计算以及基于Hive的SQL查询,Spark可以带来上百倍的性能提升。目前Spark的生态系统日趋完善,Spark SQL的发布、Hive on Spark项目的启动以及大量大数据原创 2017-12-28 22:05:32 · 1745 阅读 · 0 评论