Big Data学习进程记录
该专栏用于学习本人大数据过程中遇到的问题及解决方法
qq_26496877
这个作者很懒,什么都没留下…
展开
-
kafka幂等性&事务性
幂等性&事务性原创 2022-09-20 04:13:56 · 447 阅读 · 0 评论 -
hadoop正确地添加和移除节点
添加节点 克隆 克隆一台全新的Linux(如有IP冲突,可右击VMware右下角网络图标断开连接) 打开/etc/hostname修改主机名 打开/etc/sysconfig/network-script/ifcfg-ens33修改IP 重启 安装 使用安装包+hadoop-install.sh脚本快速安装一个Hadoop节点 注意使用source hadoop-install.s...转载 2020-01-10 15:30:47 · 1456 阅读 · 0 评论 -
window下搭建hadoop
1.下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common 2.解压 hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3” 文件夹路径 xxx/xxxx/hadoop-2.7.3 复制hadoop-2.7.3文件夹到 d盘 或者 e盘 的根目录 (在这里我安装到了E盘) 3.原版的Hadoop不支持Wind...转载 2019-07-24 14:35:22 · 306 阅读 · 0 评论 -
bigdata_虚拟机静态ip设置
一、安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器,打开虚拟网络编辑器对话框,选择Vmnet8 Net网络连接方式,随意设置子网IP,点击NAT设置页面,查看子网掩码和网关,后面修改静态IP会用到。 二、检查宿主机VM8 网卡设置,打开网络和共享中心→ 更改适配器设置→,在VMware Network Adapter VMnet8上单击右键,选择属性按钮打开属性对话框...转载 2018-11-22 00:17:33 · 270 阅读 · 0 评论 -
big-data:hive 搭建及遇到的问题
配置hive-site.xml(这是一个简化版的配置,配置时,只需将下面的配置项配置,其余带有$的配置项目注释掉) 其中最重要的就是元数据存储的mysql的jdbc链接参数 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="c...原创 2019-02-22 22:00:49 · 249 阅读 · 0 评论 -
es,kiban搭建文档
一、前言 本系列文章最终目标是为了快速搭建一个简易可用的搜索服务。方案并不一定是最优,但实现难度较低。 二、背景 近期公司在重构老系统,需求是要求知识库支持全文检索。 我们知道普通的数据库 like 方式效果及性能都不好,所以另寻出路,确定通过 Elasticsearch (下文简称「 ES 」)搜索引擎实现。 三、技术选型 因公司之前购买了阿里云的ES服务且版本为 5.5.3 ,下文选...原创 2019-09-26 23:50:28 · 931 阅读 · 0 评论