- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hive
MySql 官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用，下载安装wget：yum -y install wget 解压rpm -ivh mysql-community-release-el7-5.noarch.rpm 安装yum ins...
2019-05-27 13:36:56
236
原创 Spark
下载安装scala wget https://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /root mv scala-2.12.8 scala 配置etc/profile source 使其生效 测试：scala -version 启动：scala 下载spark wget https://www.apache.org...
2019-05-24 18:40:01
139
原创 NoSql
使用redis以及MongoDB两个数据库软件进行简单的命令使用 redis 通过网络下载 Linux命令 wget http://download.redis.io/releases/redis-3.0.1.tar.gz 解压tar -zxvf redis-3.0.1.tar.gz -C /root make install安装 出现错误zmalloc.h:50:31: 致命错误：jemallo...
2019-05-23 13:12:19
157
原创 HBase
下载并解压安装HBase到虚拟机主机下 在etc/profile文件配置HBase安装路径信息，source生效 export HBASE_HOME=/root/hbase-1.4.9 export PATH=$HBASE_HOME/bin: $PATH 测试安装成功 hbase 配置HBase 配置hbase-env.sh 配置Java安装路径 export Java_HOME=/root/jd...
2019-05-22 22:13:15
115
原创 MapReduce分布式编程
Eclipse中写入三个程序并运行 运行程序出现错误(null) entry in command string: null chmod 0700 参考此链接进行解决https://ask.hellobi.com/blog/jack/5063 运行成功 小结： Map函数接受一个输入的key-value对，然后产生一个中间key-value 对的集合。MapReduce库把所有具有相同中...
2019-05-22 11:33:28
153
原创 HDFS
HDFS的搭建以及程序调试 1.安装配置Maven 步骤：安装JDK→安装Eclipse→安装Maven→ Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。） 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/do...
2019-05-22 11:08:44
125
原创 Hadoop集群配置以及伪分布式、完全分布式
安装好配置好虚拟机后将IP地址进行截图，并在secureCRT中输入相应IP地址进行连接（此处CRT我用的是绿色免安装版本所以可以直接连接） 以下是虚拟机IP以及主机名截图（bigdata1后改成了bigdata129） 1.关闭防火墙（虚拟机直接禁用，不然格式化以后运行不成功） systemctl disable firewalld 禁止防火墙 2.SecureCRT 【File（文件）】→【...
2019-05-15 10:56:33
605
转载 Hadoop&大数据采集
Hadoop HDFS 1.基于HDFS的云盘系统设计与实现: 1 系统基本功能模块设计 HDFS是一个高度容错性的系统, 它是运行在通用硬件上的分布式文件系统, 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问, 采用“一次写入、多次读取”模式 http://kns.cnki.net/KXReader/Detail?TIMESTAMP=636879294442728750&DBC...
2019-05-15 09:58:16
3365
转载 大数据的各种免费软件
大数据的各种软件 （资料搜集） Ourway BI 大数据可视化平台 可以在线使用可视化大数据平台，并可以免费下载。 永久免费并且无时间限制。 http://www.powerbi.com.cn/download# BDP个人版 针对个人在工作中获得在一些大数据，提高工作质量和效率，针对新媒体运营、市场产品开发和营销有非常大的帮助。 https://me.bdp.cn/info.html Data...
2019-05-15 09:57:42
956
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人