大数据与人工智能入门到放弃
南山鱼蛋哥
专业烹饪鱼蛋20年
展开
-
大数据与人工智能入门到放弃(10 回顾篇 HBase java api操作)
记:最近在公司写单元测试,因为要涉及到周任务达标问题,所以天天加班,今天周末,安排一波Hbase完全分布式的搭建安装HBase java api操作在很多情况下,操作hbase不是在命令行直接操作的,所以有了很多api,这里我用java api进行操作。所以打开eclipse。1.解压hbase,然后把lib下的jar包拷贝到eclipse中;2.选中那些jar包,bulid ...原创 2019-10-26 23:55:49 · 155 阅读 · 0 评论 -
大数据与人工智能入门到放弃(09 回顾篇 HBase完成分布式安装)
记:最近在公司写单元测试,因为要涉及到周任务达标问题,所以天天加班,今天周末,安排一波Hbase完全分布式的搭建安装HBase完成分布式安装这里我用的0.98的版本,附上下载地址https://archive.apache.org/dist/hbase,下载完成后上传到master机器,这里我集群的分布为:资源有限,我总共有3台虚拟机,机器名字分别为master,node1,node2...原创 2019-09-21 13:31:44 · 163 阅读 · 0 评论 -
大数据与人工智能入门到放弃(08 回顾篇 Hive多节点环境搭建)
记:这是在加班时写的Hive多节点环境搭建在上一篇文章中, 搭建单节点的hive时,我在master装了单机的hive;node2中安装了mysql,所以是node2进行hive的元数据管理服务;所以这次决定不去破坏hive的单节点;搭建多hive多节点时,我把机器node1作为客户端,node2作为服务端。(搭建过程可参考官网的多节点搭建配置https://cwiki.apach...原创 2019-09-05 23:12:02 · 211 阅读 · 0 评论 -
大数据与人工智能入门到放弃(07 回顾篇 Hive单节点环境搭建与mysql)
记:最近空闲时间都在刷算法题,所以没怎么更新,这次趁着周末,安排一波搭建Hive需要先做什么?用一台服务器作为mysql服务器,因为hive的元数据会存储在mysql中,所以下面就是选我的机器node2作为mysql服务。在这台机器上安装mysql,输入命令yum install mysql-server即可。安装完成后输入mysql,会出现如图7-1,说明未启动mysql服务。输...原创 2019-09-01 17:26:52 · 139 阅读 · 0 评论 -
大数据与人工智能入门到放弃(06 回顾篇 配置yarn高可用环境)
记:最近任务有点多,多到天天加班修改配置文件搭建过程可参考hadoop官方文档进入hadoop目录下中etc目录下的hadoop目录修改文件,如下操作,首先修改文件名,然后配置文件,此次搭建高可用的主备ResourceManager服务是在master和node2,修改文件以主机master为例,修改完直接分发到node1和node2.[root@master hadoop]...原创 2019-08-31 19:41:32 · 124 阅读 · 0 评论 -
大数据与人工智能入门到放弃(05 回顾篇 配置window系统下hadoop的运行环境)
记下午睡了觉,因为把耳机放公司了,所以叫了同事去帮我拿耳机,没耳机的我没心情写东西,就躺了一下午,耳机回来后,开刚。准备hadoop包统一用和Linux里安装的hadoop版本,即为hadoop-2.7.5。还有要准备好hadoop在window环境下编译的文件,文件链接为:链接:https://pan.baidu.com/s/1N_pXCB3fPU6NhIxgdj39mw 提...原创 2019-08-17 22:34:04 · 124 阅读 · 0 评论 -
大数据与人工智能入门到放弃(04 回顾篇 hadoop高可用【HA】的搭建)
记:最近公司任务比较多,所以小忙之中,在晚上抽出一丢丢时间来搭建Hadoop的高可用集群。集群规划准备此次搭建是在03篇中搭建好完全分布式的情况下进行修改。因为机器配置受限,但是为了能搭建出来高可用的集群效果。所以把主、备NameNode启动在节点为master,node1的机器上,master,node1,node2上都配置启动了JournalNodes进程(为了两个NameNode...原创 2019-08-17 14:11:29 · 108 阅读 · 0 评论 -
大数据与人工智能入门到放弃(02 回顾篇 jdk安装与ssh免密登录配置,hadoop伪分布式配置)
记:最近酒店到期,所以忙于租房找房子,搬家,晚上下班的空余时间,写完这一篇。准备好jdk和hadoop压缩包这里我jdk选用的是jdk-8u191-linux-x64.tar.gz,hadoop选用的是hadoop-2.7.5.tar.gz。这里我就选用一台虚拟机来作为配置的例子,将包上传到linux虚拟机。为了统一管理,我将jdk解压到了/usr/java/目录下,如图2-1。...原创 2019-08-13 00:22:12 · 140 阅读 · 0 评论 -
大数据与人工智能入门到放弃(03 回顾篇 hadoop完全分布式安装配置)
记:下班后洗个澡,趁着昨天写完伪分布式,今天继续就来一波Hadoop完全分布式的配置。准备环境包括昨天的一台master节点,还需另外准备2台节点,我还将master也设置成从节点,不仅有namenode而且还有datanode。所以最后的效果应该是,1台namenode和3台datanode,其中有一台节点datanode和namenode共存。因为穷,我还将secondarynam...原创 2019-08-13 23:52:05 · 127 阅读 · 0 评论 -
大数据与人工智能入门到放弃(01 回顾篇linux--网络,服务,克隆)
前言:为了从头到尾的搞透(了解运用)大数据和AI,所以从今天开始,决定从头开始,从0开始回顾,到项目实战,在工作之余能抽出时间来完善大数据和AI的学习的过程,所以会从项目的搭建过程开始做起,每周至少3次更新博客,希望不会放弃。做这些记录的原因是为了回顾学过的东西,技术的东西,一旦很久不用这项技术就会很快忘记,所以目的是让以后来回顾自己的记录。学大数据至少搞懂得java基础,或者python,然...原创 2019-08-04 02:26:23 · 251 阅读 · 0 评论