大数据
文章平均质量分 92
Linux基础、Hadoop集群搭建、mapreduce学习、hive学习、zookeeper学习、hbase学习、spark学习....
优惠券已抵扣
余额抵扣
还需支付
¥9.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
C-A-L-D
双手代码,失去年华!
展开
-
大数据之zookeeper
说明Zookeeper在Hadoop集群中的作用。Zookeeper是分布式管理协作框架,Zookeeper集群用来保证Hadoop集群的高可用,(高可用的含义是:集群中就算有一部分服务器宕机,也能保证正常地对外提供服务。)Zookeeper保证高可用的原理。Zookeeper集群能够保证NamaNode服务高可用的原理是:Hadoop集群中有两个NameNode服务,两个NameNode都定时地给Zookeeper发送心跳,告诉Zookeeper我还活着,可以提供服务,单某一个时间只有一个是Act原创 2020-07-15 11:15:08 · 235 阅读 · 0 评论 -
大数据之hive
什么是hive之前已经了解到,hive是Hadoop的一个数据仓库!Hive数据存储在hdfs上,数据计算则使用mapreduce,元数据(数据库、表结构)存储在MySQL/derby等数据库Hive数据仓库软件为分布式存储的大数据集上的读、写、管理提供很大方便,同时还可以用类似于SQL的HQL语法在大数据集上查询。Hive底层支持多种不同的执行引擎,例如:Hive on MapReduce、Hive on Tez、Hive on Sparkhive的出现,能够很方便的操作数据(使用类似hql原创 2020-07-13 16:07:56 · 274 阅读 · 0 评论 -
大数据之MapReduce
单词计数单词计数测试源码:gitee将代码克隆到本地项目,然后打包成jar包 mvn package在myeclipse打包:右键项目——》Run As——》Maven build——》原创 2020-07-09 20:34:59 · 208 阅读 · 0 评论 -
大数据之Hadoop集群搭建
我所使用的主要工具版本:Linux系统:CentOS7jdk安装包:jdk-8u144-linux-x64.tar.gzhadoop安装包:目前最新版的维护版本hadoop-3.1.3.tar.gz(3.1.3版本详情介绍http://hadoop.apache.org/docs/r3.1.3/)目的:三种模式的集群搭建(第一,二种不算,主要是第三种)本地运行模式(测试使...原创 2019-10-27 03:33:49 · 269 阅读 · 0 评论 -
CentOS最新版本和历史版本下载方法
转自: https://blog.csdn.net/qq_39720249/article/details/84026407 ...转载 2019-10-27 01:38:51 · 738 阅读 · 0 评论 -
大数据之概念篇
大数据基本概念:(就是指海量数据的存储处理分析计算)大数据特点:大量(海量数据)高速(效率高)多样(支持多种类型数据,分为结构化和非结构化数据,像日志,音频,图片.....都是非结构化数据)低价值密度(所关注的数据占总数据量密度低)大数据常见用途:京东物流仓储:根据顾客购买力以及人群密度等因素,设定仓储位置零售:探索用户价值(比如一个父亲为孩子买...原创 2019-10-26 01:22:14 · 120 阅读 · 0 评论 -
源码安装和rpm包安装
---- Linux下软件的安装主要有两种不同的形式。第一种安装文件名为filename.tar.gz。另一种安装文件名为 filename.i386.rpm。以第一种方式发行的软件多为以源码形式发送的。第二种方式则是直接以二进制形式发行的。i386即表示该软件是按 Inter 386指令集编译生成的。 ---- 对于第一种,安装方法如下: ---- 首先,将安装文件拷贝至你的目录...原创 2019-10-24 12:44:05 · 2110 阅读 · 0 评论 -
Linux服务器挂载ntfs移动硬盘(转载)
服务器上的一些移动硬盘需要备份到数据,公司买了个500G的机房,带上去移动硬盘,将服务器插到硬盘上,然后开始操作Fdisk -l 查看硬盘是否被检测到了 已经检测到了,并且有一个分区了,因为windows打开之后就会看到一个465G的分区,分区的格式是ntfs(windows好...转载 2019-10-24 12:17:05 · 240 阅读 · 0 评论 -
Linux基本配置篇
Centos6/7修改系统编码 Centos6修改 /etc/sysconfig/i18n立即生效 source /etc/sysconfig/i18nCentos7修改 /etc/locale.conf立即生效 source /etc/locale.conf然后查看所有编码:(一般其他编码不修改,只需修改LANG,其他编码自动为LANG的值) Lin...原创 2019-10-23 14:44:48 · 154 阅读 · 0 评论 -
yum镜像源问题:File contains no section headers.
报:File contains no section headers.原因是没有配置yum源!解决如下:第一种方案:修改/etc/yum.repos.d/CenOS-Base.repo文件内容如下:#CentOS-Base.repo##ThemirrorsystemusestheconnectingIPaddressoftheclienta...原创 2019-10-22 14:29:27 · 6994 阅读 · 2 评论 -
linux服务篇
安装GCC,GCC-C++并编译执行代码:yum -y install gcc gcc-c++ kernel-devel(据说yum安装gcc版本不是最新版,但也够用了(4.8.5))编写c代码:编译生成字节码test.c: gcc test.c -o test.out执行字节码文件: ./test.out结果:重写一个执行字节码需要传值的代码:编译并执行:搭建FTP服务器及简单案例测试:...原创 2019-10-22 14:15:36 · 188 阅读 · 0 评论 -
Linux方向推荐篇
什么是Nginx?为什么使用Nginx?https://blog.csdn.net/qq_15037231/article/details/80406679原创 2019-10-22 13:46:20 · 278 阅读 · 0 评论 -
Linux基础命令大全
lsof -i 用以显示符合条件的进程情况lsof -i:端口号,用于查看某一端口的占用情况:(找到之后,可以kill杀死)netstat -tunlp用于显示tcp,udp的端口和进程等相关情况:(这个也实用!找到之后kill杀死)https://www.cnblogs.com/CEO-H/p/7794306.htmlcrontab定时任务管理:cron...原创 2019-10-15 19:04:57 · 300 阅读 · 0 评论 -
Linux大杂烩(扩展)
黑客科普:黑客 骇客 红客 黑帽 白帽 灰帽 肉鸡 抓鸡 webshell 漏洞 后门 提权 跳板 旁站入侵 C段入侵 渗透测试(区别入侵):黑盒测试,白盒测试,灰盒测试 APT攻击与防止APT攻击(参考:https://blog.csdn.net/dfdhxb995397/article/details/101385236) 分辨网站是Linux服务器还是Windows...原创 2019-10-14 12:53:11 · 250 阅读 · 0 评论 -
vm备忘
Linux系统分区设置挂载点:若手动分区的话(主分区和逻辑分区)(安装Linux系统自定义分区只设置下面三个即可)挂载点/boot 是引导分区 文件系统ext4 200MB即可挂载点无 是虚拟分区 文件系统swap 最低2GB挂载点/ ...原创 2019-10-14 19:03:31 · 139 阅读 · 0 评论 -
大数据——使用windows下的Eclipse或者IDEA远程连接Linux的Hadoop并运行wordcount
初学大数据,经过三个多小时,最终照着网上案例弄出来了!下面是结果:遇到的问题还真的多!下面就以随笔的形式,将制作过程和问题及解决记录下来:1.环境准备:用远程ssh工具启动搭建好的Hadoop平台(不管伪分布式/完全分布式都可以),看是否能正常启动hdfs,mapreduce 将Linux系统中安装的Hadoop初始安装包拷贝到Windows系统一份(版本一...原创 2019-09-12 02:52:33 · 786 阅读 · 6 评论 -
datanode出现自动关闭状况
初学Hadoop,学习过程遇到很多问题,也总结了解决办法!很简单,有日志首先看日志,没日志的就要看配置了今天遇到奇怪的事情,昨天搭建的伪分布式运行Hadoop平台,今天重新运行就出毛病了(datanode出现自动关闭)查看datanode日志找出问题查看日志如下:从日志上看,框起来的说明了问题datanode的clusterID 和 namenode的clu...原创 2019-09-05 18:26:03 · 931 阅读 · 1 评论