醉糊涂仙的博客

转载 matplotlib绘图中文乱码

Matplotlib 默认情况不支持中文https://blog.csdn.net/u014465934/article/details/80377470https://www.fontpalace.com/font-details/SimHei/

原创 估计量，估计值

原创 MapReduce执行流程

首先，网上很多解析必然会贴出来如下所示的一张图，但是图中隐藏了诸多信息。1，inputsplit有多大，与hdfs文件切块有什么关系？首先，hadoop2.0的hdfs文件切块是128M，这是定死的，称为物理切块。inputsplit默认也是128M和hdfs文件切块保大小持一致，称为逻辑切块。既然是逻辑切块，说明他的大小是可变的，如果设置小于或者大于hdfs的物理...

原创 hive内表和外表

真实数据和元数据区分参考博文：https://blog.csdn.net/u010916338/article/details/90247121一，内表1，真实数据存放在hdfs上。2，真实数据存放在hive默认创建的路径下。如图所示stu就是内表。3，内表一般都是先创建表再插入数据。 注：采用方式（1）插入数据，创建表不需要指定分割符： cre...

原创 hive解析

1，hive其实是在MapReduce上包了一层壳，hql语句最终还是翻译成MapReduce任务运行。2，真实数据还是存放在hdfs上。3，hive默认将元数据信息放到Derby数据库中，现实中我们喜欢放到mysql中。如何理解元数据呢？可以理解成真实数据的路径，如上图所示如果找到了/user/hive/warehouse/park.db/stu也就找到了真实数据。而mysql...

原创 There are 0 datanode(s) running and no node(s) are excluded in this operation.

可能是由于执行两次hadoop namenode -format格式化造成的。措施：删除掉生成的current文件夹，最好将datanode和namenode文件夹中的current都删除。注意每个人配置的路径不同，如果查阅不到请到配置文件hdfs-site.xml中查找。<!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配...

原创 error: Microsoft Visual C++ 14.0 is required

下载安装即可链接：https://pan.baidu.com/s/1-G4t_MklKrE2blSoCZ5hRQ提取码：tp5p

原创 Uncaught ReferenceError: jQuery is not defined

参考博文：https://cloud.tencent.com/developer/article/11402761，检查是否引入了jQuery.mini.js2，文件加载的顺序不对，把jQuery文件最好写在所有script文件前面3，包括两个不同版本的jQuery UI。这可能会导致冲突。尝试删除...

原创 idea发布web项目到Tomcat

注：如果随意改动发布项目名，会导致项目路径错误，项目无法访问，或者静态资源无法加载！！！具体案例请参考博文：https://blog.csdn.net/u010916338/article/details/89854038...

原创 HTTP404: 找不到 - 服务器尚未找到与请求的 URI (统一资源标识符)匹配的任何内容。

1，检查web.xml是否配置了拦截全部请求 <servlet-mapping> <servlet-name>springmvc</servlet-name> <!-- 拦截器“/” 是拦截所有请求，包括静态资源，所以在springmvc中添加静态资源映射 --> <url-pattern>/</ur...

原创 Error: JAVA_HOME is incorrectly set. Please update D:\skill\hadoop-2.7.1\conf\hadoop-env.cmd

1，检查Java -version正常显示2，检查hadoop系统环境变量配置HADOOP_HOME和PATH3，如果Java安装在c盘的默认路径下，没有修改过。那么将hadoop-2.7.1\etc\hadoop\hadoop-env.cmd文件中的set JAVA_HOME=%JAVA_HOME%修改成set JAVA_HOME=C:\PROGRA~1\Java\...

原创 Java增量写入字符串到hdfs

<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.1</version&gt...

转载 idea总是变成insert状态

file -> settings ->Plugins 然后再右边搜索框输入IdeaVim，出来结果后将后面复选框中得勾去掉就可以了

原创 Scala项目打包

修改后再打包，会有异常：E:/IdeaWorkspace/Dataclean/src/main/scala/META-INF/MANIFEST.MF' already exists in VFS删除上图中的META-INF和out文件再重新打包就OK了。...

原创 Percona（MySQL）安装

简介：Percona是MySQL的分支版本，性能超越标准的MySQL。另外MySQL关键技术被Oracle收购以后，Percona是唯一免费的版本。1，下载percona，链接：https://pan.baidu.com/s/1fVyTdO0IqJM5sUihUs1Y3A 提取码：h1812，首先安装 cmake，gcc-c++,openssl openssl-devel。...

原创 hive安装

简介：Apache Hive是数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它是基于MapReduce算法。划重点：hive不用和其他组件一样进行分布式集群安装Note, Hive is not something you in...

原创 nested exception is org.apache.ibatis.binding.BindingException: Invalid boun

查看target目录下是否有xml文件，如果没有，在pom文件中添加如下信息：<build> <resources> <resource> <directory>src/main/java</directory> <includes> <include>**...

原创 idea创建workspace工作

**注：手动添加一级目录**