![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
环境配置
文章平均质量分 65
发量不足
耐心,自信来源于你强大的思想和知识基础
展开
-
[hadoop全分布部署]安装Hadoop、验证Hadoop①
一、配置hadoop格式化二、查看 Java 进程三、查看 HDFS 的报告原创 2022-12-18 10:46:30 · 11298 阅读 · 199 评论 -
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②
一、配置 core-site.xml 文件参数二、配置 mapred-site.xml (Mapreduce参数)三、配置 yarn-site.xml原创 2022-12-05 12:42:42 · 11903 阅读 · 197 评论 -
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
安装Hadoop、配置Hadoop 配置文件一、配置hadoop-env.sh文件二、配置 hdfs-site.xml 文件参数原创 2022-11-26 22:22:55 · 13446 阅读 · 217 评论 -
[hadoop全分布部署]虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录原创 2022-11-25 10:47:52 · 3462 阅读 · 65 评论 -
[hadoop全分布部署]虚拟机Hadoop集群配置/etc/hosts、配置无密码登录(SSH)
改IP地址、改MAC地址、改主机名vi /etc/sysconfig/network-scripts/ifcfg-ens33192.168.196.101对应master192.168.196.102对应slave1192.168.196.103 对应slave2原创 2022-11-17 09:54:46 · 5211 阅读 · 113 评论 -
[Hadoop全分布部署]安装JDK、Hadoop
JDK全称Java Development Kit 中文意思是Java 开发工具包即java标准版开发包,是Oracle提供的一套用于开发java应用程序的开发包,它提供编译,运行java程序所需要的各种工具和资源,包括java编译器,java运行时环境,以及常用的java类库等。JRE Java Runtime Environment(JRE) Java运行环境Java运行环境,它的全称Java Runtime Envi原创 2022-11-08 15:32:45 · 6015 阅读 · 131 评论 -
[Hadoop全分布部署]配置网络(IP、网关和DNS等)和防火墙
配置网络(IP、网关和DNS等)和防火墙1.1 查看服务器的 IP 地址1.2 设置服务器ip地址1.3 重启网络1.4 pingwww.baidu.com看是否能联网1.5 修改服务器的主机名称1.6 绑定主机名与 IP 地址1.7 关闭防火墙1.8 创建hadoop用户原创 2022-10-25 23:01:12 · 7188 阅读 · 75 评论 -
体验第一个spark程序(第四弹)
先启动spark集群或者启动hdfs集群,如果之前有开启,则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群,集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下,连接到指定spark集群,默认端口号是7077。在spark目录下启动spark服务(未停止的,先停止在启动)启动Hadoop服务(未停止的,先停止在启动)遇到不能创建问题是因为。...原创 2022-08-07 11:54:45 · 1708 阅读 · 23 评论 -
spark集群部署(第三弹)
(1)spark.deploy.recoveryMode=ZOOKEEPER:设置zookeeper去启用备用master模式(2)spark.deploy.zookeeper.url=master:指定zookeeper的server地址(3)spark.deploy.zookeeper.dir:保存集群元数据信息的文件和目录原创 2022-08-04 20:57:38 · 8579 阅读 · 18 评论 -
搭建Spark开发环境(第二弹)
😊😊😊欢迎来到本博客😊😊😊本篇介绍的是Spark环境的准备🛠🛠🛠预更新📑:体验第一个Spark程序一.环境准备二·.spark的部署方式三.spark集群安装部署一.环境准备配置环境:Hadoop、spark(本人是2.0.0)、JDK(1.8)、Linux(Centos6.7)二·.spark的部署方式spark部署模式分为Local模式和集群模式,在local模式,常用于本地开发与测试,集群模式又分为standalone。.........原创 2022-08-02 20:57:17 · 1850 阅读 · 32 评论 -
搭建Spark开发环境
spark集群基础环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin环境配置:export SCALA_HOME=/opt/module/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin原创 2022-07-31 21:27:30 · 641 阅读 · 15 评论 -
filebeat的配置
配置原创 2022-07-01 10:08:01 · 218 阅读 · 11 评论 -
test3
test3原创 2022-07-01 09:49:44 · 269 阅读 · 1 评论 -
test2
test2原创 2022-06-30 15:48:34 · 171 阅读 · 2 评论 -
【无标题】
test1原创 2022-06-30 15:42:39 · 161 阅读 · 0 评论 -
python 网络爬虫 爬取网页数据时网站字符集不是默认编码“UTF-8”,导致爬取出来的网页数据出现其它语言的乱码情况,需要手动添加网页相对应的字符集encoding=“ ”
python网络爬虫爬取网页数据时网站字符集不是默认编码“UTF-8”,导致爬取出来的网页数据出现其它语言的乱码情况,需要手动添加网页相对应的字符集encoding=“”原创 2022-04-25 23:39:44 · 1110 阅读 · 0 评论 -
解决python UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xb5‘ in position 255: illegal mult
UnicodeEncodeError: 'gbk' codec can't encode character '\ufffd' in position 373: illegal multibyte sequence问题翻译:UnicodeEncodeError:“gbk”编解码器无法对位置373处的字符“\ufffd”进行编码:非法的多字节序列报错代码告诉我们“gbk”的编码器已经无法对某处的,使用我们需要更改一下编辑器里面文件编码的项目编码改为“UTF-8”即可完成上面环节既可原创 2022-04-25 22:09:45 · 4022 阅读 · 20 评论 -
Scala的安装和IDEA的使用(初入茅庐)
Scala的安装和IDEA的使用(初入茅庐)原创 2022-03-06 15:55:09 · 4586 阅读 · 7 评论 -
解决启动filebeat时遇到Exiting: error unpacking config data: more than one namespace configured accessing错误
在虚拟机解压好filebeat后输入#: ./filebeat -c filebeat.yml遇到如下问题!!!!!!Exiting: error unpacking config data: more than one namespace configured accessing 'output' (source:'filebeat.yml')翻译:退出:解压缩配置数据时出错:访问“输出”时配置了多个命名空间(源:'filebeat.yml')解决方法:#注意要在自己安装f原创 2022-02-14 21:52:17 · 6134 阅读 · 13 评论