- 博客(8)
- 收藏
- 关注
RSS订阅原创 spark搭建伪分布式环境
软件准备• 一台Linux虚拟机我用的CentOS-6.6的一个虚拟机，主机名为repo参考在Windows中安装一台Linux虚拟机• spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7.tgz要根据自己机器中的hadoop版本选择对应的spark版本(1) 把安装包...
2019-05-20 12:32:41
501
原创 Hive安装与配置详解
评论- 6Hive安装与配置详解hive安装和配置hive的测试hive安装和配置安装一：下载hive——地址：http://mirror.bit.edu.cn/apache/hive/这里以hive-2.1.1为例子，如图：将hive解压到/usr/local下：[root@s100 local]# tar -zxvf apache-hive-2.1.1-bin.tar.g...
2019-05-20 12:10:09
73032
20
原创 NoSql 在Linux(CentOS)上安装memcached及使用
第一步，确定目标:目前的环境是Linux CentOS，安装memcached，然后学习下基本的使用。第二步，下载安装包:由于安装libevent是安装memcached的前提，所以此处我们需要下载两个安装包，分别是libevent和memcached。1.下载libevent，我在http://libevent.org/这里下载了最新的版本 libevent-2.0.22-stable....
2019-05-19 23:33:14
223
1
原创 HBase配置（伪分布式模式）
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-19 23:21:38
737
原创 HDFS命令和java API
熟练掌握HDFS的Shell访问和Java API访问shell 操作多个 HDFS 集群两个集群运行相同版本的 Hadoop。两个 HDFS 集群之间传输数据，默认情况下 distcp 会跳过目标路径下已经存在的文件。[hadoop@cloud0042 hadoop-2.2.0-x64]$ hadoop distcp hdfs://cloud004:9000/weather hdfs:/...
2019-05-19 22:49:15
313
原创 Hadoop集群搭建
hadoop集群搭建hadoop确定集群所需要的机器 ，我由于机器限制 只有三台机器，一般的数据节点至少要有三个副本 由于机器限制我这里就用了两个副本了（我这里bigdata128是主节点）bigdata128bigdata129bigdata130三台服务器服务器环境搭建hadoop3 需要的java环境必须在1.8 以上hadoop3.0.0.1.tar.gz 项目文件下载...
2019-05-15 11:27:55
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人