- 博客(60)
- 收藏
- 关注
RSS订阅
原创 【服务器】如何卸载hadoop以及对应集群环境
前言：由于配置不兼容等原因，导致需要卸载原有hadoop等机器软件。思路：你怎么安装的就逆着执行就好。步骤一：由从到主服务器删软件步骤二：根据，软件安装的前提环境删【思路】：删“zookeeper” => 删“hbase” => 删“hadoop” => 删jdk步骤三：暂停所有服务。【思路】：正常关闭服务器，并利用指令查看是否产出服务开启时的效果。步骤四：根据各软件安装步骤，倒着来。【思路】：删除在系统配置上的笔记，在软件文件上的编辑则直接删除软件目录...
2021-03-20 18:41:51
8753
原创 【案例·增】拼接字符串，增加字符型数据记录
MySQL中的数据库表存在字符型(String)字段，要为其拼接信息以达成数据新增，可以使用 SQL 中的CONCAT()、CONCAT_WS()函数来处理。
2024-04-08 17:14:22
187
原创 【案例·查】数据类型强制转换，方便查询匹配
MySQL执行中需要将某种数据类型的表达式显式转换为另一种数据类型，可以使用 SQL 中的cast()来处理。
2024-03-28 20:35:38
143
原创 【案例·增】获取当前时间、日期(含，SQL中DATE数据类型)
需要使用当前时间、日期，可以使用 SQL 中的 CURDATE() 、NOW()、CURTIME()运算符。
2024-03-28 20:16:05
332
原创 【Mysql】集合运算in(not in)、exists(not exists)的选用(图文、代码全版)
鸣谢【核心参考】在MySQL里，有个和in一样的东东叫做exists，但是它比in更牛叉，你会么？【核心参考】萨师煊.王珊代码mysql版本（建库、建表、查询语句）创建表及数据【说明】(粗略)建表代码请移步，本"链接"。集合运算简介1.使用的背景【说明】往往，问题的描述中包含“存在”、“不存在”这种关键词，∈ “集合运算”。 eg，选课表中没有选课的学生 ↔ 选课表中不存在的学生号2. “In”、"exists"在集合运算中的作用。语法及执行原理1. "In"用法【说明】
2022-05-23 17:56:04
1234
原创 【配置】windows永久更换pip下载源(图文完整版)
前言【核心参考】流程操作1、创建，pip.ini文件【说明】 在文件夹索引输入%appdata%,同时，创建pip文件夹。【说明】 在pip文件夹下，新建pip.ini文件2、编辑“pip.ini文件”并保存。【说明】使用“豆瓣源”，具体代码如下：[global]index-url = http://pypi.douban.com/simple trusted-host = pypi.douban.com disable-pip-version-check = true ti
2022-05-13 12:12:10
1885
1
原创 【Python语法错误】Length of passed values is 2, index implies 0
一、问题背景自定义创建“dataframe”时，采用“列”方向键入新数据记录报错。二、问题本质“数据记录”在dataframe中的结构描述失误。以下，流程拆分原理。2.1 数据结构2.2 代码层面描述正确示范错误示范三、处理思路【思路】核对，原来处于相同行的记录，在index参数设置中是否设置错误...
2022-03-05 16:34:19
4727
原创 Windows如何管理(禁用、开启)FileZilla自启动(大部分软件通用)
前言鸣谢，参考:TIM怎样关闭开机启动 最近，遇到FileZilla软件自启动的问题。 但是，百度并没有提供很好的解决方法，而自己比较菜也没找到直接在该软件上修改设置的方法。 但意外找到了如下思路，供大家借鉴。关闭软件自启动步骤一：打开任务管理器步骤二：点击启动选项(如图)步骤三：选定目前运行的软件，设置“禁用”开启软件自启动步骤一：关闭目标软件步骤二：重复类似“关闭自启动”的步骤到下图步骤三：选定软件，点击“启用”...
2021-10-11 20:50:25
1745
2
原创 【困惑】hadoop集群中，部分工具(如hive)无法通过stop指令关闭服务，那如何根据进程id杀死对应的进程，进而实现关闭特定服务？
###【困惑】如何根据进程id杀死对应的进程，进而实现关闭特定服务？以，关闭hive为例。
2021-05-02 15:19:23
144
原创 【服务器】（六）阿里云ECS上搭建Hadoop集群环境——配置Maven、Oozie
前言：oozie版本问题当前环境安装步骤：1.安装包解压 #默认已经上传至虚拟机 #1.1解压文件： cd /home/test/Downloads tar -zxvf /home/test/Downloads/oozie-4.1.0-cdh5.14.0.tar.gz -C /home/test/install/ #解压到install目录路径下2.创建oozie的“hadooplibs” #1.2复制hadooplibs cd /home/test/install/ooz
2021-04-30 21:58:44
409
原创 【服务器】（八）阿里云ECS上搭建Hadoopd集群环境——IDEA2020版远程连接阿里云hdfs【图文及问题解析】(Ubuntu)
鸣谢——核心参考1. 阿里云服务器ping不通解决办法（云服务器搭建完环境访问不了ip解决办法）一、阿里云操作二、IDEA操作1. 设置Mysql连接2. 查看所有mysql表，下列操作后，再点击“schemas”就可以了3.配置SSh远程连接【结果】：...
2021-04-30 18:09:17
691
原创 【合集·持续更新】大数据会用到的资源网站
一、大数据环境1.Mysql【】mySql的connector2.大数据集成环境(持续更新)【前言】自去年一段时间开始，大数据环境如：hadoop、hue等cdh版本开始只能允许订阅下载，于是，便寻找了网络上他人整理的资源网站【】(免费的)hue官网镜像...
2021-04-28 15:04:34
110
原创 【困惑】Visio(2019)如何调整页面大小以及旋转画布
问题描述：默认的Visio画布是纵向的容易出现，画布空间不够导致绘图出现麻烦等问题，如下图。解决方案：
2021-04-26 20:19:38
2210
原创 【Bugs】the server responded with a status of 404
【问题】：本地静态背景图，在本地离线启动Html页面时，正常加载。但，到Tomcat上运行，报：该资源“the server responded with a status of 404”？【解决方法】：将本地背景图上传至图片地址转换工具转换为Html格式。获取静态资源的html修改编译器上的Url重新Build or 重启加载项目，报错结束...
2021-04-21 09:00:08
239
原创 【Bugs】IDEA连接hadoop提示远程主机强迫关闭了一个现有的连接
解决方案【】查看自己IDEA的pom.xml文件中关于hadoop的集群的版本是否与云服务器中的版本一致，哪怕是cdh版本与apache版本号一致，但是少了cdh版依旧不行
2021-04-20 20:27:28
806
原创 【困惑】windows本地利用java语言能够访问到阿里云服务器上的hdfs信息，但是运行spark时，弹出服务器内网网址提示无法访问资源？
【困惑】windows本地能够访问到阿里云服务器上的hdfs信息，但是，运行spark时，却提示无法访问资源？【解决步骤】【】因为，hdfs的信息在NameNode结点上，而spark的代码是需要在各分布式结点DataNode中，去调用的，访问的方式不同，自然也就出现了本文困惑——java能访问hdfs，而spark运行却报路径找不到。安装图形化界面的阿里云linux系统【注：参考链接】在图形化界面后，在阿里云linux上安装IDEA编辑器，直接在阿里云编辑...
2021-04-20 20:13:20
99
3
原创 【困惑】编辑器(IDEA)提示markdown插件集成路径问题：“Uncaught ReferenceError: editormd is not defined”
问题描述：【】静态页面下，可以运行起markdown插件，但是，整合到服务器后，却发现无法正常使用，报错信息：解决方案：【】页面提示“找不到markdown”插件，但是静态页面能正常运行，说明，在服务器端运行时，项目搜索插件的方式与静态不同，经考察，注意三个方面：插件的引入是否正确【确保路径检索正确的指南】jquery的脚本是否位于markdown插件之前检查markdown插件的初始化下的路径是否换为Tomcat形式...
2021-04-17 09:36:35
1350
5
原创 【Bugs】maven&Web项目：Error creating bean with name ‘blogController‘: Unsatisfied dependency expressed
一、问题：【】maven&Web项目中，提示：“Error creating bean with name 'blogController': Unsatisfied dependency expressed through field 'blogService';”【】分析其中的组成元素——“controller”与“service”层，同时提出无法创建“bean”给指定对象。二、知识扫盲：1.什么是：“Bean”？java对象的装配。【】类似，java的类需要通过实例才能去使用
2021-04-17 09:11:40
408
原创 【Bugs】IDEA “Cannot resolve symbol” 解决办法
【问题】Cannot resolve symbol：【描述】起初，创建类时，涉及其他自己创建的类，但是，尽管能引用到包，但是却在创建类对象时，提示：“Cannot resolve symbol”。【解决方法】：清除缓存内容，重新运行项目。...
2021-04-16 11:45:49
1089
2
转载 【困惑】Spring Boot升级后，提示：“Cannot resolve symbol Valid”
鸣谢——核心参考Spring Boot升级到2.3.2.RELEASE后提示"Cannot resolve symbol Valid"Maven解决方案：【说明】：原来从2.3版本开始，Spring Boot的starter包不再默认包含spring-boot-starter-validation库了，所以要继续使用@ Valid，@ NotEmpty等注解的话，我们需要引入该库：<dependency> <groupId>org.springframework
2021-04-16 11:36:02
1002
原创 【Bugs】Mavern-Web项目引入前端资源时，提示： resolving template [index], template might not exist or might
【问题】搭建博客(Maven-Web项目)时，前端、后端不是同一个项目，将前端项目(页面、css等)导入后端所在资源时，报错：Error resolving template [index], template might not exist or might not be accessible by any of the configured Template Resolvers【思路】：删除，后端所在项目的target目录，重新编译项目。...
2021-04-14 10:00:50
101
原创 【Bugs】IDEA ：Maven项目找不到或无法加载主类 or 新建类时，提示类已经存在(但实际上没找到)
鸣谢——核心参考1.idea中Mark Directory As里的Sources Root、ReSources Root等的区别一、知识原理：(*･ω-q)【】Idea中Mark Directory As下有多种文件夹属性，不同的属性指定，会在IDEA中隐式作处理——包括：自动复制、不被编译等。【】四种类型介绍(转载):二、问题&方案：【问题-1】：新建类时，提示类已经存在(但实际上没找到)【思路-1】：清楚缓存，重新编译【思路-2】：编译时，是否存在重复编译——Sourc
2021-04-14 09:50:17
582
原创 【Bugs】资源检索路径：“Failed to load resource...”&“Refused..because its MIME type..”与“net::ERR_ABORTED 404”
鸣谢——核心参考1.【原理】：路径中一个点与两个点的区别2.【解决措施】HTML5 because its MIME type (‘text/html’) is not a supported stylesheet MIME type,…【问题】：web项目中，由于无法输入正确资源所在路径，导致，一系列路径问题：【说明】：一个点表示当前目录、两个点表示上级目录，可以在idea编辑器中，如下图自己输入试试。【思路】：通过idea自带的代码补全方式，核查路径问题。别直接copy别人的网页描述，毕竟
2021-04-13 09:21:57
252
原创 【Bugs】启动IDEA，提示“can‘t download sh shfmt formatter”
核心—参考1.解决方案：Can‘t download sh shfmt formatter. Please install it manually2.shfmt-github官网解决方案：【说明】：“shfmt-github官网”已经被墙可能无法下载，需要科学上网。本文附上3.2.4版本(其他版本，可留言)**【资源】：链接：https://pan.baidu.com/s/124sM9GY79TsckNZAYFMREw提取码：a2tl **1.查看自己系统配置，下载对应shfmt版本【说明
2021-04-13 08:44:18
2513
原创 【困惑】：阿里云Ubuntu系统桌面无法全屏的方法(VNC登录)
【问题】：阿里云上的Ubuntu图系统采取了图形化界面，但是，利用浏览器打开发现界面过小。如下：【步骤】：图文如下，安装自我感官调整大小：
2021-04-10 12:12:56
792
1
原创 【服务器】（三）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hbase安装
鸣谢【linux】在三台阿里云服务器上搭建hbase集群(centos7)前言【前置条件1】：【服务器】阿里云ECS上搭建Hadoop集群环境——设置(伪分布式)Hadoop安装Hbase安装步骤：【说明】：以下无特殊说明都是在master端执行1.准备Hbase文件 cd ~ #master端进入根目录 #1.解压文件(默认，资源本地上传到阿里云——看我主页里的FileZilla搭建) tar -zxvf /home/test/Downloads/hbase-1.5.0-bin.t
2021-04-09 22:24:59
292
原创 【Bugs】Hbase:File system needs to be upgraded. You have version null and I want version(habse缓冲问题)
鸣谢——核心参考：1. hbase 问题之 File system needs to be upgraded. You have version null and I want ve2.HBase 创建表已经存在，删除表又不存在的问题【问题-1】：(格式化dataNote)后，hbse启动失败，查看日志，得标题描述：【思路】：进入“/hbase/hbase.version”发现此文件消失猜测,hbase文件在某个操作中被损坏，采取初始化hbase。 #1.将过去损坏的hbase文件备份(即，重命
2021-04-09 21:49:59
432
原创 【服务器】（四）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Spark与Scala
安装Scala2.11.12版： cd /home/test/Downloads tar -zxvf /home/test/Downloads/scala-2.11.12.tgz -C /home/test/install/ cd /home/test/install vim /etc/profile #文件内容如下： export SCALA_HOME=/home/test/install/scala-2.11.12 export PATH=$PATH:$SCALA_HOME/bin
2021-04-09 12:02:25
263
原创 【Bugs】hdaoop结点启动：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Bl
鸣谢——核心参考：1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空问题描述:【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan
2021-04-07 22:27:13
467
原创 【困惑】Ubuntu安装hue需要的依赖是什么？
前言：【】安装hue的过程所报的错，大都是缺少依赖所报的错，结合自身实践进行总结。【】hue报错的TracBack可来源于：hue安装目录下的error.log与runsever.log；命令行直接提示。一、系统环境：二、所需依赖【官网·文档】：...
2021-04-07 10:28:59
241
2
原创 【Bugs】dpkg: error processing package XXX (--configure)
【问题-3.3】dpkg: error processing package XXX (–configure) ，描述：【解决方法】：由于多次安装dpkg(包)，导致存在新旧包的冲突，于是格式化原来存放dpkg的目录：cd /var/lib/dpkgls #查看自己info目录的情况sudo mv info info_old3 #下次就是4了(第四次备份，下面的3同理)，依据你备份的情况sudo mkdir /var/lib/dpkg/info/sudo apt-get updatesu
2021-04-07 10:26:53
691
原创 【Bugs】md_ctx错误——重装hue时
【解决方案】本问题是指libssl-dev版本不对。解决方法：cd ~sudo apt-get install ibssl1.0-dev
2021-04-07 10:19:18
124
原创 【Bugs】hue启动server，“Couldn‘t import snappy. Support for snappy compression disabled.”（Ubuntu无法打开hue)
前言——核心参考：1.How To Install “libsnappy-dev” Package on Ubuntu2.127.0.0.1地址是什么【问题】：刚安装hue完，在仅运行hadoop后，想打开hue的UI界面，出现网页无法登录？【思路一】windows本地测试，是否可连阿里云对应服务器的“公网ip:8000”？【思路二】查看，hue的server是否打开或者报错？1.查看runserver进程2.查看hue下的log文件，报：““Couldn’t import snappy.
2021-04-07 09:59:34
1121
原创 【服务器】Hadoop集群hue、hive、oozie等组件兼容性一览
一、前言：【】hadoop集群组件在版本不兼容下，无论一再处理冲突的jar包，但是最终依然会报其他摸不着头脑的error；【】hadoop集群往往指多个软件，软件类型一般一致，但是，版本不同。主流分为：cdh版、Apache版，前者兼容性更好，不用再编译。同时，自带coulder management管理工具，可利用其直接安装整个hadoop集群【】为什么，要以hue版本来查看集群？因为，hue是hadoop集群下所有组件的UI集成，类似，微信那样，把红包、语音、表情包都集合在一个app上一样，以它方
2021-04-06 22:59:47
933
原创 【Bugs】bash: telnet: command not found的解决方法
访问下文链接即可：1.【Ubuntu、centos提示-bash: telnet: command not found的解决方法】2.【windows10提示telnet不是内部或者外部命令也不是可运行的程序】3.【win10已经打开telnet客户端依然无法使用】
2021-04-06 10:39:43
298
1
原创 【Bugs】使用sqoop将Mysql数据库导入到hive(问题集)
一、前言虚拟机相关环境：mysql 5.7hadoop 2.60 -cdh 5.140sqoop 1.46 -cdh 5.140二、Q&A【问题-1】sqoop语句执行报：“ Ensure that you have called .close() on any active streaming result sets before attempting more queries.”【思路一】：编辑命令时" \ "后出现多余的空格、回车符，导致复制粘贴时出现异常。如下：【思路
2021-04-01 23:05:34
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人