大数据
文章平均质量分 89
做个坏男人
没有过不去的坎,只有踏不过去的人。加油!
展开
-
Lux 安装以及使用
lux的安装:Github地址:https://github.com/iawia002/lux具体的安装步骤在github中已经讲述。Windows安装这里为了方便操作就不使用CMD了,直接使用PowerShell,需要的条件PowerShell 5+和.NET Framework 4.5+。先在电脑左下角程序搜索框输入PowerShell,然后双击Windows PowerShell工具,再输入以下命令查看版本:$PSVersionTable.PSVersionMajo...原创 2020-12-19 12:04:55 · 7673 阅读 · 6 评论 -
hadoop-mr运行报错记录
java.lang.ClassCastException: class com.atguigu.reducer.groupomparator.OrderBean at java.base/java.lang.Class.asSubclass(Class.java:3769) at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887) at org.apache.hadoop.mapred.M...原创 2020-11-19 13:06:44 · 279 阅读 · 0 评论 -
Hadoop_编译源码_黑达
一】前期准备工作:1.保证centos 可以连接上互联网:配置 网络连接信息:vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth1 -----网卡名称 可以在 /etc/udev/rules.d/70-persistent-net.rules 下查看 网卡HWADDR=00:0c:29:f...原创 2020-11-11 11:08:42 · 239 阅读 · 0 评论 -
2-HDFS、YARN、Zookeeper安装
HDFS、YARN、Zookeeper安装选择自定义安装选择安装服务分配节点集群设置全部选默认即可自动启动进程修改HDFS的权限检查配置关闭HDFS中的权限检查:dfs.permissions。配置Hadoop支持LZO1)点击主机,在下拉菜单中点击Parcel2)点击配置3)找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入http://archive.cloudera.com/gplextras/parcels原创 2020-09-11 11:22:35 · 214 阅读 · 0 评论 -
CM安装部署
CM下载地址1)CM下载地址:http://archive.cloudera.com/cm5/cm/5/2)离线库下载地址:http://archive.cloudera.com/cdh5/parcelsCM安装注:以下所有操作均使用root用户1)创建/opt/module/cm目录[root@hadoop102 module]# mkdir –p /opt/module/cm2)上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到had原创 2020-09-11 10:35:38 · 938 阅读 · 0 评论 -
linux-网络配置-其他
LINUX -一:IP配置:切换目录:cd /etc/sysconfig/network-scripts找到 名称为 ifcfg-eth0 的文件,然后打开文件:vi ifcfg-eth0 :如下:DEVICE=eth0 #HWADDR=00:0C:29:EF:9E:11 TYPE=Ethernet#UUID=8f03a074-722b-46a7-90d8-8a36b799e2c7ONBOOT=yes NM_.原创 2020-09-11 09:30:47 · 241 阅读 · 0 评论 -
hadoop插件编译,不用再为插件而烦恼
连接地址1:https://www.cnblogs.com/zlslch/p/5891331.html连接地址2:https://blog.csdn.net/shengqianfeng/article/details/82770705转载 2020-08-19 17:09:58 · 111 阅读 · 0 评论 -
Hadoop-HA 实现高可用
前言: 最近学习了hadoop中的HA,目的是为解决单点故障的问题,实现集群的稳定,避免数据的丢失。什么是HA???HA(Highly Available),高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题,导致正在运行的业务(任务)不能正常运行时,备用节点此时就会侦测到,并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。Namen原创 2020-08-16 16:29:40 · 751 阅读 · 0 评论 -
lvs-安装准备
准备三台虚拟机 先配置3台虚拟机的网络: Eth0,配置在一个网段 DIP,RIP在一个网段 3.配置lvs的VIP -ifconfig eth0:0 192.168.9.100/24 -echo “1”> /proc/sys/net/ipv4/ip_forward 4.调整RS的响应,通告级别(每一台RS都配): - echo 1 > /proc...原创 2020-08-11 20:18:32 · 125 阅读 · 0 评论