![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
iteye_8936
这个作者很懒,什么都没留下…
展开
-
hadoop之hdfs
hdfs的设计理念:当数据集的大小超过单台计算机的存储能力时,就有必要将其进行分区并存储到若干台单独的计算机上。可以这样说hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。在hadoop里,hadoop定义了一个抽象的文件系统的概念,具体就是hadoop里面定义了一个java的抽象类:org.apache.hadoop.fs.FileSystm,这个抽象类用来定义hadoop中...原创 2015-09-04 17:14:34 · 154 阅读 · 0 评论 -
hadoop安装
1.下载 http://www.apache.org/dist/hadoop/core/ 版本为 hadoop-1.2.12. 解压 文件 tar -xzvf hadoop-1.0.4.tar.gz 修改配置文件(安装目录下的 conf/ 下) 1>.hadoop-env.xml 添加 java配置 export JAVA_HOME=/usr/java/def...原创 2015-09-06 09:49:29 · 118 阅读 · 0 评论 -
hadoop常用命令
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭Hadoop1. 进入HADOOP_HOME目录。2. 执行sh bin/stop-all.sh...原创 2015-09-06 09:50:44 · 68 阅读 · 0 评论 -
hbase安装配置
1.下载镜像文件 wget http://apache.claz.org/hbase/hbase-0.98.13/hbase-0.98.13-hadoop1-bin.tar.gz 2. tar -zxvf hbase-0.98.13-hadoop1-bin.tar.gz 3. 修改hbase-site.xml文件内容 <configuration&g...原创 2015-09-06 09:53:44 · 82 阅读 · 0 评论 -
sqoop安装配置
1. 下载 sqoop1(sqoop2 版本不稳定)wget http://mirrors.ustc.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz2.修改 /etc/profile export JAVA_HOME=/usr/java/default export CLAS...原创 2015-09-06 09:55:54 · 118 阅读 · 0 评论 -
hadoop,hbase,hive,sqoop等大数据相关安装详细说明
安装包 网上下载 1. hadoop-2.6.0-cdh5.4.0.tar.gz 2. scala-2.10.4.tgz 3. sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4. apache-hive-1.2.1-bin.tar.gz 5. spark-1.4.1-bin-hadoop2.6.tgz 6. jdk-8u40-ea-bin-b05-lin...原创 2015-10-16 18:50:09 · 374 阅读 · 0 评论 -
cassandra分布式安装
1.下载 cassandra 建议安装镜像文件 wget http://mirror.bit.edu.cn/apache/cassandra/2.2.3/apache-cassandra-2.2.3-bin.tar.gz;2.解压文件 tar -zxvf apache-cassandra-2.2.3-bin.tar.gz3. 修改配置文件 cassandra安装...原创 2015-11-03 20:01:15 · 158 阅读 · 0 评论 -
cassandra + spring操作
这里是maven工程, 请先新建maven工程修改pom.xml 文件,增加依赖<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-cassandra</artifactId> <versi...原创 2015-11-03 20:03:28 · 455 阅读 · 0 评论 -
spark分布式安装
1.如果没安装 需要安装 scala,因为spark需要 同时在 /etc/profile 增加 export SCALA_HOME=/scal路径/scala-2.11.7 export PATH=$SCALA_HOME/bin:$PATH 执行 source /etc/profile 使配置文件生效2.下载spark安装包...原创 2015-11-03 20:06:12 · 86 阅读 · 0 评论