哒哒哒数据~
码龄7年
求更新 关注
提问 私信
  • 博客:9,754
    动态:44
    9,798
    总访问量
  • 10
    原创
  • 3
    粉丝
  • 26
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:陕西省
加入CSDN时间: 2018-10-14
博客简介:

weixin_43408503的博客

查看详细资料
个人成就
  • 获得20次点赞
  • 内容获得14次评论
  • 获得44次收藏
  • 博客总排名1,104,208名
创作历程
  • 10篇
    2019年
成就勋章
TA的专栏
  • 工具使用类
  • 大数据相关资料
    1篇

TA关注的专栏 1

TA关注的收藏夹 0

TA关注的社区 0

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

王者杯·14天创作挑战营·第2期

这是一个以写作博客为目的的创作活动,旨在鼓励码龄大于4年的博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见https://bbs.csdn.net/topics/619735097 2、文章质量分查询:https://www.csdn.net/qc 我们诚挚邀请你们参加为期14天的创作挑战赛!

66人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

Hadoop群起脚本及(Zookeeper&kafka)

详细脚本如下群起Hadoop#!/bin/bashecho "=======================正在开启集群服务======================"echo "********************正在开启NameNode(master)节点*******************"ssh hadoop@master '/opt/module/hadoop-2.7....
原创
发布博客 2019.12.28 ·
220 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hadoop搭建期间的一些注意点(历史服务器、日志聚集)

Hadoop搭建期间的一些注意点①配置历史服务器配置mapred-site.xml[leedon@hadoop101 hadoop]$ vi mapred-site.xml启动历史服务器[leedon@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver查看JobHistoryhttp...
原创
发布博客 2019.12.26 ·
259 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

集群时间同步

时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步如:每隔十分钟,同步一次时间。配置时间同步具体实操:时间服务器配置(必须root用户)(1)检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-...
原创
发布博客 2019.12.26 ·
254 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

编写集群分发脚本xsync

scp(secure copy)安全拷贝(1)scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)(2)基本语法scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路...
原创
发布博客 2019.12.26 ·
437 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

简单分布式集群配置

配置集群/分布式环境基本布局如下:集群/分布式模式需要修改 etc/hadoop 中的5个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。1, 文件 slavemasterslave1slave22, 文件...
原创
发布博客 2019.12.26 ·
354 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

SSH无密登录配置

配置ssh(1)基本语法ssh另一台电脑的ip地址(2)ssh连接时出现Host key verification failed的解决方法[hadoop@master opt] $ ssh 192.168.1.103The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.RSA ke...
原创
发布博客 2019.12.26 ·
232 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

集群搭建前期的准备工作(配置linux)

1.Linux系统进行配置①配置静态IP执行命令打开配置文件vim /etc/sysconfig/network-scripts/ifcfg-eno1添加如下选项,具体指可以参照ifconfig命令的结果数据IPADDR=192.168.1.99 # 静态ip地址NETMASK=255.255.255.0 # 子网掩码NM_CONTROLLE...
原创
发布博客 2019.12.26 ·
196 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Centos镜像下载

Centos镜像下载(一个你值得收藏的镜像站点)举例 centos6.5:centos6.5系统安装1、首先打开网易开源镜像站: http://mirrors.163.com/当然,大家也可以使用阿里开源镜像站:http://mirrors.aliyun.com/ 2、点击进入centos目录。3、因为我们选择安装centos6.5版本系统,所以点击进入6.5/目录4、我们打开里面的...
原创
发布博客 2019.12.25 ·
155 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

linux中安装mysql时报错解决方案(file /usr/share/mysql/charsets/README from install of MySQL-server-5.6.24-1.el)

报错内容如下: rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm准备中... ################################# [100%] file /usr/share/mysql/charsets/README from install of MySQL-serv...
原创
发布博客 2019.12.13 ·
7228 阅读 ·
17 点赞 ·
14 评论 ·
36 收藏

关于hive配置异常---启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClie

关于hive配置异常—启动时出现 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientLogging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-1.2.1.jar!/hiv...
原创
发布博客 2019.12.13 ·
418 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏