![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
做一条有梦想的咸鱼卍
这个作者很懒,什么都没留下…
展开
-
大数据的各种免费软件
大数据的各种软件(资料搜集)Ourway BI 大数据可视化平台可以在线使用可视化大数据平台,并可以免费下载。永久免费并且无时间限制。http://www.powerbi.com.cn/download#BDP个人版针对个人在工作中获得在一些大数据,提高工作质量和效率,针对新媒体运营、市场产品开发和营销有非常大的帮助。https://me.bdp.cn/info.htmlData...转载 2019-05-15 09:57:42 · 960 阅读 · 0 评论 -
Hadoop&大数据采集
HadoopHDFS1.基于HDFS的云盘系统设计与实现:1 系统基本功能模块设计HDFS是一个高度容错性的系统, 它是运行在通用硬件上的分布式文件系统, 适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问, 采用“一次写入、多次读取”模式http://kns.cnki.net/KXReader/Detail?TIMESTAMP=636879294442728750&DBC...转载 2019-05-15 09:58:16 · 3372 阅读 · 0 评论 -
Hadoop集群配置以及伪分布式、完全分布式
安装好配置好虚拟机后将IP地址进行截图,并在secureCRT中输入相应IP地址进行连接(此处CRT我用的是绿色免安装版本所以可以直接连接)以下是虚拟机IP以及主机名截图(bigdata1后改成了bigdata129)1.关闭防火墙(虚拟机直接禁用,不然格式化以后运行不成功)systemctl disable firewalld 禁止防火墙2.SecureCRT 【File(文件)】→【...原创 2019-05-15 10:56:33 · 608 阅读 · 0 评论 -
Spark
下载安装scalawget https://www.scala-lang.org/download/tar -zxvf scala-2.12.8.tgz -C /rootmv scala-2.12.8 scala配置etc/profilesource 使其生效测试:scala -version启动:scala下载sparkwget https://www.apache.org...原创 2019-05-24 18:40:01 · 148 阅读 · 0 评论 -
HDFS
HDFS的搭建以及程序调试1.安装配置Maven步骤:安装JDK→安装Eclipse→安装Maven→ Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。)1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/do...原创 2019-05-22 11:08:44 · 127 阅读 · 0 评论 -
MapReduce分布式编程
Eclipse中写入三个程序并运行运行程序出现错误(null) entry in command string: null chmod 0700参考此链接进行解决https://ask.hellobi.com/blog/jack/5063运行成功小结:Map函数接受一个输入的key-value对,然后产生一个中间key-value 对的集合。MapReduce库把所有具有相同中...原创 2019-05-22 11:33:28 · 159 阅读 · 0 评论 -
HBase
下载并解压安装HBase到虚拟机主机下在etc/profile文件配置HBase安装路径信息,source生效export HBASE_HOME=/root/hbase-1.4.9export PATH=$HBASE_HOME/bin: $PATH测试安装成功 hbase配置HBase配置hbase-env.sh配置Java安装路径export Java_HOME=/root/jd...原创 2019-05-22 22:13:15 · 120 阅读 · 0 评论 -
Hive
MySql官网下载mysql-server(yum安装)wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用,下载安装wget:yum -y install wget解压rpm -ivh mysql-community-release-el7-5.noarch.rpm安装yum ins...原创 2019-05-27 13:36:56 · 241 阅读 · 0 评论 -
NoSql
使用redis以及MongoDB两个数据库软件进行简单的命令使用redis通过网络下载 Linux命令 wget http://download.redis.io/releases/redis-3.0.1.tar.gz解压tar -zxvf redis-3.0.1.tar.gz -C /rootmake install安装出现错误zmalloc.h:50:31: 致命错误:jemallo...原创 2019-05-23 13:12:19 · 159 阅读 · 0 评论