自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 IDEA亮暗两种风格转换

如题,两种工具有亮暗两种风格,设置步骤如下 步骤: 1、打开IntelliJ IDEA,点击【File】 2、点击【Settings】,或者快捷键【Ctrl+Alt+s】 3、点击【Appearance & Behavior】-【Appearance】 4、点击红色框...

2018-10-11 15:15:15 720 0

原创 为什么会有滑动窗口?

既然我们已经有了滚动窗口,为什么还需要滑动窗口呢? 也就是滑动窗口的意义是什么? 那么滑动窗口和滚动窗口的区别是什么? 可能有人会问那我们使用将滚动窗口长度调低不也能完成该需求吗?

2020-05-23 12:24:11 68 0

原创 Another MySQL daemon already running with the same unix socket. through socket mysql.sock(111)

报错信息如下: Another MySQL daemon already running with the same unix socket. ERROR 2002 (HY000): Can't connect to local MySQL server through socket m...

2020-05-18 23:32:24 28 0

原创 Kylin常见错误及解决方法

1.kylin在build报错10020拒绝链接错误 2.Aggregation is not enabled. Try the nodemanager at hadoop104:42370 3.org.apache.hadoop.hbase.ipc.CallTimeoutException 4....

2020-05-14 21:46:55 78 0

原创 kafka常见报错及解决方法

-1 could not be established. Broker may not be available 解决方法: 修改kafka/config/server.properties中第34行的ip地址,这里的kafka-host需要在/etc/hosts进行映射,服务端映射到本地或内网...

2020-05-13 23:44:11 35 0

原创 maven打包时未打包scala程序

修改项目根目录下的pom文件 在maven项目中既有java又有scala代码时配置 maven-scala-plugin 插件打包时可以将两类代码一起打包 </plugins> <plugin> <grou...

2020-05-11 21:14:52 79 0

原创 flink常见报错及解决方案

Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed. Caused by: java.lang.Exception: jav...

2020-05-11 21:09:59 70 0

原创 ModuleNotFoundError: No module named redis

目录1.cmd+R打开命令行窗口2.安装redis3.下载redis-py4.安装redis-py python不支持redis,因为会报该错误 需要安装该模块才能使用 安装步骤 1.cmd+R打开命令行窗口 2.安装redis C:\Users\Administrator>pip inst...

2020-05-09 12:47:21 81 0

原创 找不到该类NoClassDefFoundError:net/sf/ezmorph/Morpher

报错信息: 找不到该类NoClassDefFoundError:net/sf/ezmorph/Morpher 如下图 解决思路: 本地Maven仓库是有这个jar包的,但是依然报找不到jar包,删除本地jar包,重新下载发现下载完成后本地仓库没有 本地有两个Maven,Maven地址配错,更换后解...

2020-05-07 09:22:13 47 0

原创 FAILED: RuntimeException org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthzPluginExce

完整报错信息 FAILED: RuntimeException org.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthzPluginException: SQL standards based authorization s...

2020-05-05 16:20:40 56 0

原创 查看python源码而不是pyi文件

在IDEA中按如下方式配置

2020-04-30 13:39:07 110 0

原创 .sh: line 15: syntax error: unexpected end of fi

报错如下: /root/test/1reduce_clientlog.sh: line 15: syntax error: unexpected end of fi 错误的结尾,打开检查没有什么错误结尾 显示unix文本 :e ++ff=unix % windows>liunx直接粘...

2020-04-24 10:24:39 57 0

原创 azkaban调度任务直接失败?

问题描述: azkaban调度任务直接失败?如下图,并且没有日志产生 解决过程: 查看服务器中executor日志 [root@node4 logs]# ls azkaban-execserver.log [root@node4 logs]# pwd /opt/azkaban/azkaban-e...

2020-04-22 22:01:26 80 0

原创 java.net.UnknownHostException: mycluster

spark本地操作hive时,报错 究其原因是,不能发现hadoop集群 解决方法: 故将hadoop的conf目录下的core-site.xml和hdfs-site.xml放到resource目录下 此外需要注意的是本地运行的路径需要改为file:///+绝对路径 不然,spark会去配置文件...

2020-04-21 00:07:38 106 0

原创 yarn查看日志

1.命令行: yarn logs -applicationId 应用id 2.yarn界面 访问 http://ip:8080

2020-04-20 21:12:47 53 0

原创 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited

报错信息 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1 场景:当sqoop从mysql向hive中导入数据时报错 ...

2020-04-20 21:07:52 64 0

原创 如何将桌面应用放到开始屏幕

如何将桌面应用放到开始屏幕

2020-04-17 17:43:13 78 0

原创 一文读懂之数据仓库与维度建模
原力计划

1.数据仓库(Data Warehouse) 在日益激烈的商业竞争中,企业迫切需要更加准确的战略决策信息。在以往的关系型数据库系统中,企业拥有海量的数据,这些数据对于企业的运作是非常有用的,但是对于商业战略决策和目标制定的作用甚微,不是战略决策要使用的信息。 关系型数据库很难将这些数据转换成企业真...

2020-04-17 13:45:58 242 0

原创 一文读懂之数据库三大范式与ER建模
原力计划

1.数据库(DataBase) 数据库是按照数据结构来组织、存储和管理数据的仓库,是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合,可视为电子化的文件柜,存储电子文件的处...

2020-04-17 10:05:54 77 0

转载 为什么要用窗口函数?

目录窗口函数具有什么功能?但是这些功能我们的group看差别:那么为什么叫窗口函数?窗口函数的语法: 窗口函数具有什么功能? 分组和排序 但是这些功能我们的group by和order by不是就可以实现了吗? 看差别: 场景:统计各班人数 当我们使用group by来分组统计的时候 当我们使用...

2020-04-16 18:06:15 92 0

原创 手把手教你实现kafka集群搭建

目录1.解压2.修改配置2.1将log目录修改为/kafaka-logs2.2修改zookeeper2.3编写启动脚本2.4修改node2和node3的service.properties3.启动4.测试 选择搭建主机 选择node1,node2,node3搭建集群 1.解压 [root@node...

2020-04-15 17:36:51 62 0

原创 一文读懂之Scala
原力计划

目录1.Scala安装使用2.IDE配置scala2.1 IDEA配置scala插件2.2eclipse配置scala插件2.3scala ide 1.Scala安装使用 1.windows安装,配置环境变量 官网下载 下载好后安装。双击msi包安装,记住安装的路径。 配置环境变量(和配置jdk一...

2020-04-11 14:39:14 43 0

原创 idea编写scala提示variable和specify type

2020-04-07 23:44:54 116 0

原创 hadoop之组件

1.Hadoop Common hadoop通用组件: 包含了其他hadoop模块要用到的库文件和工具 2.HDFS 分布式文件系统(Hadoop Dsitributed File System) 运行于通用硬件(一般来说对硬件要求不高,廉价的都行)上的分布式文件系统,高吞吐,高可靠 3.YA...

2020-04-04 20:47:49 35 0

原创 Hadoop1.x/Hadoop2.x/Hadoop3.x的区别

Hadoop1.x是一个namenode一个scondarynamenode,到了hadoop2.x版本取消了scondarynamenode,但是增加了一个namenode,有两个namenode一主一备

2020-04-04 20:46:58 46 0

原创 hadoop之文件读写流程

写文件流程 1.调用客户端的对象DistributedFileSystem的create方法 2.DistributedFileSystem会发起对namenode的一个RPC连接,请求创建一个文件,不包含关于block块的请求.namenode会执行各种各样的检查,确保要创建的文件不存在,并且...

2020-04-04 19:03:37 124 0

原创 HDFS之组件

1.NameNode2.SecondaryNameNodefsimage和edits log合并过程图3.DataNode 组件图: 1.NameNode 1.NameNode就像班主任,主要负责管理文件系统的命令空间,文件元数据存放在内存中 2.fsimage镜像文件,edits log编辑...

2020-04-04 18:37:35 60 0

原创 修改/etc/profile文件之后vim等命令不能使用

问题描述:修改/etc/profile文件之后发现vim等命令不能使用 解决方法: 手动生效命令 [root@node1 ~]# export PATH=/bin:/sbin:/usr/bin:/usr/sbin

2020-04-03 11:34:41 80 0

原创 Kibana启动常见报错信息的解决方案

报错信息 "warning","migrations","pid":6181,"message":"Another Kibana instance appears to be migrating the in...

2020-03-26 14:23:47 641 2

原创 手把手教你实现VMware安装系统centos7

CentOS_DVD下载地址 选择稍后安装操作系统

2020-03-20 19:12:39 46 0

原创 mysql常见报错及解决方法

1.Your password does not satisfy the current policy requirements #验证策略默认为1,需要包括大小写,特殊字符,数字等,改为0 set global validate_password_policy=0; #密码默认长度为8,改为1...

2020-03-12 21:52:27 41 0

原创 bin/../conf/zoo.cfg Error contacting service. It is probably not running.

运行MR任务时,报错zk连接被拒绝 检查zk集群都是启动状态,发现其中一台,出现如下错误 [root@node4 bin]# zkServer.sh status JMX enabled by default Using config: /opt/zookeeper-3.4.6/bin/../co...

2020-03-12 00:32:22 62 0

原创 手把手教你实现nginx反向代理服务器

1.反向代理 代理服务器根据其代理对象的不同,可以分为正向代理服务器与反向代理服务器。这里 的“正”与“反”均是站在客户端角度来说的。 要明白反向代理,就得知道什么是正向代理. 2.正向代理服务器 正向代理是对客户端的代理。客户端 C 想要从服务端 S 获取资源,但由于某些原因不能,直接访问服务端...

2020-03-09 22:13:24 96 0

原创 手把手教你实现nginx日志服务器

nginx还可以作为日志服务器 [root@nginx1 logs]# pwd /opt/nginx/logs [root@nginx1 logs]# tail -f access.log 本地浏览器访问:http://www.wucw.com/2019-12-03maxwd19 先不管404...

2020-03-09 21:48:34 42 0

原创 手把手教你实现nginx虚拟主机

虚拟主机,就是将一台物理服务器虚拟为多个服务器来使用,从而实现在一台服务器上配置多个站点,即可以在一台物理主机上配置多个域名。Nginx 中,一个 server 标签就是一台虚拟主机,配置多个 server 标签就虚拟出了多台主机。Nginx 虚拟主机的实现方式有两种:域名虚拟方式与端口虚拟方式。...

2020-03-09 21:27:33 69 0

原创 一文读懂之nginx

1.nginx概述 1.1nginx简介 1.nginx(“engine x”)是一个高性能的静态HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP代理服务器. 2.第一个公开版本0.1.0发布于2014年10月4日. 3.其将源代码以类BSD许可证的形式发布,因他的稳定性,丰富的功能...

2020-03-09 21:01:01 75 0

原创 centos修改本地yum源

将yum源修改为本地 1.yum install lrzsz 安装可以将windows界面上的文件拖拽到linux的小工具. 2.切换挂载 3.mount /dev/cdrom /mnt 将DVD文件挂载到mnt目录下 4.修改CentOs-Base.repo文件 [root@node3 ~]# ...

2020-03-06 23:32:51 49 0

原创 java8新特性之lambda表达式

python属于函数式编程思维,lambda表达式在里面是函数,但是java提倡"万事万物皆对象",借鉴了该写法,但是lambda表达式在java中是对象而不是函数. public interface MyInterface { void testMethod(); }...

2020-03-06 20:02:07 54 0

原创 Hive优化

Hive优化 核心思想 把HiveSQL当作MapReduce程序去优化 注:以下SQL不会转化为MapReduce来执行 select仅查询本表字段 where仅对本表字段做条件过滤 Explain显示执行计划 -EXPLAIN[EXTENDED] query:extended会更加详细的展示...

2020-03-04 22:49:49 37 0

原创 MapReduce之Google 网页排序算法PageRank

页面排名(PageRank),PageRank是Google提出的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的PageRank实现了将链接价值概念作为排名因素。 ...

2020-02-28 10:10:54 65 0

提示
确定要删除当前文章?
取消 删除