mrliude-CSDN博客

原创 flume故障转移测试

flume配置文件我习惯放在flume下的job目录里 cd job vim flume-netcat-flume.conf # Name the components on this agent a1.sources = r1 a1.channels = c1 a1.sinkgroups = g1 a1.sinks = k1 k2 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bin

2021-11-07 16:46:26 418

原创 Linux在windows中的映射

在不配置相关文件前我们想ping虚拟机得直接输入虚拟机的ip地址但是在后面的学习我们会有多台虚拟机，这样的话就会有点混乱我们想要这样的效果首先我们现在Linux中输入 hostname 知道自己的主机名后修改映射 vi /etc/hosts 添加相关参数主机的ip地址 + 主机名 ** 例如：192.168.67.181 lianxi1** 保存退出并重启虚拟机之后在windows操作系统中的 Windows/system32/drivers/etc/hosts 中添加相同的映射文件以便使

2021-10-31 15:42:43 459

原创 Linux的一些基本操作

刚学习Linux时对这个系统没有形成一个宏观的概念，一些基本操作理解也不是很深刻，对于一些细节更是无法做到在脑子里抽象出来现在复习之后总结出一些需要用到，但是在初期无法形成深刻映像的命令最基本的 man 或者 help 后面加上操作之后就会显示出开发者给我们准备好的操作文档 Linux一切皆文件，这个在熟悉一段时间后就可以退回到，所以最基本的cd命令尤其重要 . 当前目录 . . 上层目录然后就是一些命令的细节补充 mkdir -p 可以一次创建多个文件夹 cp -r 进行文件

2021-10-24 15:48:36 68

原创 json数据导入到hive的流程

一. 准备工作这里有一堆json文件使用文本工具打开其中一个文件，复制一条数据，每条数据以{}分割到百度里搜索一个json解析工具这样我们就可以更方便的找到我们需要的字段二.数据导入将数据导入到一个位置我放在 /root/data/weibo中使用cat 将多个小文件合并在hive中创建表 create database weibo; use weibo; 创建ods层表并导入数据 create table ods_weibo(data string); load data loca

2021-10-17 16:57:42 1448

原创 Linux安装mongodb

Linux虽然也有可视化窗口，但是为了长远发展还是得硬着头皮练习基本命令因为我是小白，所以此文章面向比我更白的。下载mongodb https://www.mongodb.com/download-center/community 获取下载链接后直接yum也行，如果下载的是tgz的，tar解压后记得用mv移动到指定目录下。最方便的就是使用xftp直接导入到Linux的目录里解压 tar -zxvf mongodb-linux-x86_64-rhel62-4.2.3.tgz 将文件改名为mongod

2021-09-25 21:47:44 82

原创 2021-09-23

HDFS连接windows HDFS连接windows时，环境配置好，代码也确定没有错误，但是执行后不添加文件，原因就是填错了端口号端口号执行没有报错，但是页面上没有创建文件一开始以为是maven依赖和数据库不符然后换一下执行之后报错发现原来是链接那里出问题了使用万能的某度，查到端口查询语句 hdfs getconf -confKey fs.default.name 更改URI 执行文件添加成功写这篇文章时，为了截图，在变更依赖之前的那个项目里，使用http://192

2021-09-23 16:26:44 80

mrliude的博客