系'辞的博客

前言【核心参考】流程操作1、创建，pip.ini文件【说明】 在文件夹索引输入%appdata%,同时，创建pip文件夹。【说明】 在pip文件夹下，新建pip.ini文件2、编辑“pip.ini文件”并保存。【说明】使用“豆瓣源”，具体代码如下：[global]index-url = http://pypi.douban.com/simple trusted-host = pypi.douban.com disable-pip-version-check = true ti

一、大数据环境1.Mysql【】mySql的connector2.大数据集成环境(持续更新)【前言】自去年一段时间开始，大数据环境如：hadoop、hue等cdh版本开始只能允许订阅下载，于是，便寻找了网络上他人整理的资源网站【】(免费的)hue官网镜像...

解决方案【】查看自己IDEA的pom.xml文件中关于hadoop的集群的版本是否与云服务器中的版本一致，哪怕是cdh版本与apache版本号一致，但是少了cdh版依旧不行

【困惑】windows本地能够访问到阿里云服务器上的hdfs信息，但是，运行spark时，却提示无法访问资源？【解决步骤】【】因为，hdfs的信息在NameNode结点上，而spark的代码是需要在各分布式结点DataNode中，去调用的，访问的方式不同，自然也就出现了本文困惑——java能访问hdfs，而spark运行却报路径找不到。安装图形化界面的阿里云linux系统【注：参考链接】在图形化界面后，在阿里云linux上安装IDEA编辑器，直接在阿里云编辑...

【问题】：阿里云上的Ubuntu图系统采取了图形化界面，但是，利用浏览器打开发现界面过小。如下：【步骤】：图文如下，安装自我感官调整大小：

鸣谢——核心参考：1. hbase 问题之 File system needs to be upgraded. You have version null and I want ve2.HBase 创建表已经存在，删除表又不存在的问题【问题-1】：(格式化dataNote)后，hbse启动失败，查看日志，得标题描述：【思路】：进入“/hbase/hbase.version”发现此文件消失猜测,hbase文件在某个操作中被损坏，采取初始化hbase。 #1.将过去损坏的hbase文件备份(即，重命

鸣谢——核心参考：1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空问题描述:【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan

前言：【】安装hue的过程所报的错，大都是缺少依赖所报的错，结合自身实践进行总结。【】hue报错的TracBack可来源于：hue安装目录下的error.log与runsever.log；命令行直接提示。一、系统环境：二、所需依赖【官网·文档】：...

【问题-3.3】dpkg: error processing package XXX (–configure) ，描述：【解决方法】：由于多次安装dpkg(包)，导致存在新旧包的冲突，于是格式化原来存放dpkg的目录：cd /var/lib/dpkgls #查看自己info目录的情况sudo mv info info_old3 #下次就是4了(第四次备份，下面的3同理)，依据你备份的情况sudo mkdir /var/lib/dpkg/info/sudo apt-get updatesu

前言——核心参考：1.How To Install “libsnappy-dev” Package on Ubuntu2.127.0.0.1地址是什么【问题】：刚安装hue完，在仅运行hadoop后，想打开hue的UI界面，出现网页无法登录？【思路一】windows本地测试，是否可连阿里云对应服务器的“公网ip:8000”？【思路二】查看，hue的server是否打开或者报错？1.查看runserver进程2.查看hue下的log文件，报：““Couldn’t import snappy.

一、前言：【】hadoop集群组件在版本不兼容下，无论一再处理冲突的jar包，但是最终依然会报其他摸不着头脑的error；【】hadoop集群往往指多个软件，软件类型一般一致，但是，版本不同。主流分为：cdh版、Apache版，前者兼容性更好，不用再编译。同时，自带coulder management管理工具，可利用其直接安装整个hadoop集群【】为什么，要以hue版本来查看集群？因为，hue是hadoop集群下所有组件的UI集成，类似，微信那样，把红包、语音、表情包都集合在一个app上一样，以它方

访问下文链接即可：1.【Ubuntu、centos提示-bash: telnet: command not found的解决方法】2.【windows10提示telnet不是内部或者外部命令也不是可运行的程序】3.【win10已经打开telnet客户端依然无法使用】

一、前言虚拟机相关环境：mysql 5.7hadoop 2.60 -cdh 5.140sqoop 1.46 -cdh 5.140二、Q&A【问题-1】sqoop语句执行报：“ Ensure that you have called .close() on any active streaming result sets before attempting more queries.”【思路一】：编辑命令时" \ "后出现多余的空格、回车符，导致复制粘贴时出现异常。如下：【思路

鸣谢——核心参考1.django的setting.py在哪前言：【说明-1】小白我遇到个坑：“django.db.utils.OperationalError: (1045, "Access denied for user ‘root’@'mas”，被其他博客说得找：“django的settings.py”。【说明-2】本身环境，第一次见到“django”的Ubuntu系统小白，我压根没装过它正餐开始，Duang~1.试试下载看看(能下载就说明我没安装) pip install django

鸣谢——主要参考1.安装oozie的Web界面无法访问问题2.从头开始 手把手 oozie 安装配置 with an example前言：【说明】由于大数据集群的安装版本与网络上博客存在差异，导致出现了或多或少的问题，结合自己的实践进行总结。【说明】环境介绍： - Oozie-：oozie-4.1.0-cdh5.14.0 - 已安装：hadoop、zookeeper、maven环境 - Oozie安装地址：/home/test/install/oozie-4.1.0-cdh5.14.0

前言：由于配置不兼容等原因，导致需要卸载原有hadoop等机器软件。思路：你怎么安装的就逆着执行就好。步骤一：由从到主服务器删软件步骤二：根据，软件安装的前提环境删【思路】：删“zookeeper” => 删“hbase” => 删“hadoop” => 删jdk步骤三：暂停所有服务。【思路】：正常关闭服务器，并利用指令查看是否产出服务开启时的效果。步骤四：根据各软件安装步骤，倒着来。【思路】：删除在系统配置上的笔记，在软件文件上的编辑则直接删除软件目录...

前言：核心参考的两篇系列文献，内容很全，其中第一篇理论与实际混合。但是，因为年代与系统版本问题，故再整理：代码(slave2设置同slave1)+截图。于，2021年3月18日。系统环境：服务器：3台阿里云。Ubuntu18.04 64x(master)、CentOS7.3 64x(slave1、slave2)核心参考：1.两台Ubuntu系统ECS阿里云搭建Hadoop集群环境2.两台CentOS 7.3系统ECS阿里云搭建Hadoop集群环境安装步骤：1.hostname：Ub

一、命令行安装MySQL1.安装代码：sudo apt-get update #更新服务器索引，下载最新版Mysqlsudo apt-get install mysql-server #服务端sudo apt-get install mysql-client #客户端sudo apt-get install libmysqlclient-dev #程序编译时链接的库2.检查安装状态：sudo netstat -tap | grep mysql #出现listen即成功systemct

贴关键代码，以备日后复制粘贴。详细步骤见“转载”教程!贴关键代码，以备日后复制粘贴。详细步骤见“转载”教程!贴关键代码，以备日后复制粘贴。详细步骤见“转载”教程!一、Linux安装JDK1.8(看这一篇就够了!) 附安装包下载地址!【转载】… //文件夹创建与文件传输见转载//1.解压jdk文件，到“/home/test/install”tar -zxvf /home/test/Downloads/jdk-8u144-linux-x64.tar.gz -C /home/test/instal