- 博客(87)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark-SQL连接MySql关系型数据库
注意:程序中需要用到jdbc的jar包本程序中使用的是mysql-connector-java-5.1.29.jar1,从mysql数据库读取数据 完整程序如下:import java.util.Propertiesimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkContext, S
2015-09-23 11:58:09
8484
1
原创 Hadoop分布式存储系统HDFS
1、hadoop fs 指令-ls -ls 路径> 查看指定路径的当前目录结构-lsr -lsr 路径> 递归查看指定路径的目录结构-du -du 路径> 统计目录下个文件大小-dus -dus 路径> 汇总统计目录下文件(夹)大小-count -count [-q] 路径> 统计文件(夹)数量-mv -mv 源路径> 目的路径> 移动-cp -cp 源路径> 目的
2015-09-22 10:12:28
1453
原创 Hadoop-1.0.4伪分布安装与配置
1、采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下。2、解压，重命名 #tar -xzvf hadoop-1.0.4.tar.gz #mv hadoop-1.0.4 hadoop3、配置环境变量 vi /etc/profile，在文件java_home后添加，
2015-09-22 10:09:48
852
原创 CentOS配置
1、在Vmware中安装好虚拟机。2、客户机（即虚拟机中的centos）网络连接使用仅主机模式Host-only3、在主机中网络配置上，配置IP地址1、使用PieTTY远程连接该虚拟机2、使用winSCP可以用于主机，客户机之间的文件传递将该会话保存，就不需要每次进行设置。3、给linux安装jdk 使用winSCP将
2015-09-22 10:07:21
619
原创 win7 VMware CentOS桥接（bridge）模式网络配置
主要内容参考自：centos下vmware 桥接设置静态ip例子关于虚拟机网络配置的文章：Win7+VMware Workstation环境下的CentOS-Linux网络连接设置（推荐阅读）win7 访问本机的CentOS 6.3 上的web项目以及 互相通信访问（ CentOS运行于本机VMware虚拟机中）Win7下虚拟机上Li
2015-09-22 10:03:31
5763
原创 Spark1.4从HDFS读取文件运行Java语言WordCounts并将结果保存至HDFS
习惯印象笔记客户端记录的方便。想想这几天搭建Spark环境，分析spark运行过程，分析程序编写过程的迷茫，记录一篇从Hadoop2.4.0 HDFS系统中读取文件，并使用java语言编译运行的WordCount过程与大家分享吧。本次实验相关信息如下：操作系统：Ubuntu 14Hadoop版本：2.4.0Spark版本：1.4.0运行前提是Hadoop和Spark均已正确安装
2015-07-16 15:34:35
7257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人