汽泡水-CSDN博客

原创 spark搭建伪分布式环境

软件准备 • 一台Linux虚拟机我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 • spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 (1...

2019-05-22 17:32:10 229

原创 Hive安装与配置

hive安装和配置安装一：下载hive——地址：http://mirror.bit.edu.cn/apache/hive/这里以hive-2.1.1为例子，如图：将hive解压到/usr/local下： [root@s100 local]# tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 将文件重命名为hive文件： [...

2019-05-22 17:21:57 232

原创 NoSql 在Linux(CentOS)上安装memcached及使用

第一步，确定目标: 目前的环境是Linux CentOS，安装memcached，然后学习下基本的使用。第二步，下载安装包: 由于安装libevent是安装memcached的前提，所以此处我们需要下载两个安装包，分别是libevent和memcached。 1.下载libevent，我在http://libevent.org/这里下载了最新的版本 libevent-2.0.22-stable...

2019-05-22 17:09:38 222

原创 HBase配置（伪分布式模式）

HBase安装配置 ①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【C...

2019-05-22 17:03:53 567

原创 MapReduce 分布式计算系统

1.MapReduce编程入门实例之WordCount：分别在Eclipse和Hadoop集群上运行在Eclipse环境下运行MapReduce程序（WordCount程序）　　首先看一下我的项目结构和WordCount程序：　　其中word.txt将作为我们测试的输入文件，内容如下：程序代码如下所示： 1 package com.hadoop.WordCount; 2 ...

2019-05-22 16:57:01 175

原创 HDFS命令和java API

实验步骤搭建Hadoop伪分布式模式、或者完全分布式模式 Windows里安装配置JDK+Eclipse+Maven 在Eclipse里新建Maven Project，新建包，新建class 编程上述4个Java程序虚拟机的namenode主机上，启动Hadoop 在eclipse里运行上述4个Java程序使用hdfs的shell命令查看运行结果使用web console查...

2019-05-22 16:44:41 288

原创 Hadoop集群搭建

hadoop集群搭建 hadoop 确定集群所需要的机器，由于机器限制，只有三台机器，一般的数据节点至少要有三个副本由于机器限制我这里就用了两个副本了（我这里bigdata128是主节点） bigdata128 bigdata129 bigdata131 三台服务器服务器环境搭建 hadoop3 需要的java环境必须在1.8 以上 hadoop3.0.0.1.tar.gz 项目文件下载解...

2019-05-22 16:33:59 205

原创爬虫初接触——八爪鱼采集器

今天的一个随堂作业就是搜索了解爬虫软件，看那些软件的是免费的那些是不免费的，是否开源，好用与否，并且下载一个爬虫软件安装使用。我安装使用的是八爪鱼采集器。个人感觉，八爪鱼采集器这个爬虫软件用起来还是不错的，也挺方便，只是在使用云采集的时候是不免费的，需要购买使用。 ...

2019-03-11 20:57:56 1912 1

转载大数据分析技术方案

转自 lWX471878的博客http://xinsheng.huawei.com/cn/blog/detail_80005.html 一.目标现在已经进入大数据时代, 数据是无缝连接网络世界与物理世界的DNA。发现数据DNA、重组数据DNA是人类不断认识、探索、实践大数据的持续过程。大数据分析可以有效...

2019-03-04 19:50:01 5077