![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
e_123456457
这个作者很懒,什么都没留下…
展开
-
centos7下载安装redis并利用RedisDesktopManager远程连接
1.下载你需要是redis版本,我安装的是redis-5.0.4版本。 wget http://download.redis.io/releases/redis-5.0.4.tar.gz tar -zxvf redis-5.0.4.tar.gz 安装gcc yum install -y gcc cd src make(必须安装gcc,才能成功执行此命令) make make ...原创 2019-05-19 16:47:06 · 496 阅读 · 0 评论 -
Hadoop为分布式及完全分布式安装详细过程
我安装的hadoop-2.7.3 一、 首先下载 jdk-8u121-linux-x64.tar.gz 然后上传到Linux 解压到/opt/module tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 配置JDK并生效 vi /etc/profile文件添加: export JAVA_HOME=/o...原创 2019-05-21 21:04:48 · 169 阅读 · 0 评论 -
网络爬虫
1、爬虫技术概述 网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,它们被广泛用于互联网搜索引擎或其他类似网站,可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容和检索方式。从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新...原创 2019-05-26 16:47:31 · 1167 阅读 · 0 评论 -
hive安装及mysql配置
一、Hive安装 1.解压hive,移动到指定目录下 tar -zxvfapache-hive-3.1.1-bin.tar.gz -C /opt/module 配置环境变量 export HIVE_HOME=/opt/module/apache-hive-3.1.1-bin export PATH=$PATH:$HIVE_HOME/bin12 2.在hive/conf目录下 c...原创 2019-05-26 17:06:34 · 254 阅读 · 0 评论 -
hbase的安装
①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。 ②使用rz将压缩包从Windows传输到Linux当前目录 ③安装 解压安装到指...原创 2019-05-26 17:13:50 · 90 阅读 · 0 评论 -
使用Hadoop和Java API实现文件的读写
1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。) 1)新建HDFS目录/aadir,写入/上传 本地文件e:\\hdfs\\aa.txt 到HDFS的/aadir目录下,查看HDFS文件/bb.txt是否存在。 package hdfs.files; import java.io.File...原创 2019-05-27 11:53:16 · 767 阅读 · 0 评论 -
启动自带MapReduce实例程序WordCount
Map处理 :public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> Reduce处理: public class WordCountReducer extends Reducer <Text, IntWritable, Text, IntWritable>...原创 2019-05-27 11:56:03 · 352 阅读 · 0 评论