- 博客(39)
- 收藏
- 关注
RSS订阅
原创 Hadoop的集群安装
今天开始hadoop学习。一开虚拟机就出现各种状况。状况一vim 编辑器出现中文乱码。 一开始以为是编码集的问题，去看了下编码集 编码集就是utf-8，而且在命令行中可以输入中文。可能就是vim的问题。 解决办法 打开~/etc/vimrc，添加`set fileencodings=utf-8,ucs-bom,gb18030,gb...
2018-08-14 20:43:14
326
原创 java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled
磁盘满了，清除 kafka-logsjava.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled Java code
2019-06-18 09:59:56
5534
原创 linux基本命令无法使用
关闭进程的时候将失误关闭了系统进程，导致所有基本命令无法使用原因可能是环境变量出了问题执行下面命令即可export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin12...
2019-04-16 09:25:15
326
原创 HTTP ERROR 404 Problem accessing /hwi/authorize.jsp. Reason: HWI HIVE
执行hive --service hwi时，客户端没报错浏览器打开http://host:port/hwi时，显示一个web目录，点击web目录后，就出现：HTTP ERROR 404Problem accessing /hwi/authorize.jsp. Reason:/hwi/authorize.jsp原因是hive-hwi-1.2.2.war的问题一是看看你的包版本号对不对...
2019-04-02 09:49:47
1174
原创 记录一点nginx-kafka的坑
git的时候后报错解决：1.yum install curl curl-devel2.Yum update nss启动nginx报错error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory解决：#开机加载/usr/...
2019-01-04 17:44:57
898
原创 Transformation算子，action算子，产生shuffle的算子
Transformation的官方文档方法集合如下：mapfilterflatMapmapPartitionsmapPartitionsWithIndexsampleunionintersectiondistinctgroupByKeyreduceByKeyaggregateByKeysortByKeyjoincogroupcartesianpipecoales...
2018-12-15 16:20:16
1277
转载 flume java.lang.OutOfMemoryError: GC overhead limit exceeded
解决办法:<1>ps -aux|grep flume 查看刚才启动的flume进程，发现如下信息/usr/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO -cp conf <2>于是看一个flume-ng的python脚本，发现JAVA_OPTS="-Xmx20m" 问题就是出在这里了，然后我把flume-ng脚本里...
2018-11-14 22:09:07
535
原创 hadoop自我检测(面试题)
1、hadoop是个什么东西？: 回答时，精髓：清晰，明确，不含糊， – 但不求多深多全，不能有明确的错2、hdfs的用途是什么？<–描述开放式问题的套路：先勾勒出事物的轮廓、骨架、再逐层填充细节–>储海量文件、为分布式数据处理做支撑是一个分布式的文件系统系统中有多重角色，核心角色是namenode 和datanodenamenode负责管理元数据datanode负...
2018-11-13 23:18:59
168
原创 hbase安装
1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES...
2018-11-13 23:09:19
126
转载 为什么Hbase能实现快速的查询
原地址：https://www.cnblogs.com/1130136248wlxk/p/4990910.html你的快速是指什么？ 是根据亿级的记录中快速查询，还是说以实时的方式查询数据。A：如果快速查询（从磁盘读数据），hbase是根据rowkey查询的，只要能快速的定位rowkey, 就能实现快速的查询，主要是以下因素：1、hbase是可划分成多个region，你可以简单的理解为关系...
2018-11-13 20:51:59
587
原创 hive报错编写自定义函数导入依赖报错 Missing artifact jdk.tools:jdk.tools:jar:1.6
少了一个jar包 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.6</version> <scope>system</
2018-11-12 22:22:34
459
原创 hive后台服务启动和客户端启动
需要保证数据库和hive可以正常启动自己写了个shell脚本，启动命令懒得记了 #!/bin/sh read -p 'please input your hostname:' NAME nohup bin/hiveserver2 1>/dev/null 2>&1 & /root/apps/hive-1.2.1/bin/beeline -u...
2018-11-09 21:43:56
1338
1
原创 HDFS面试题
面试题转载标明出处找了一些面试题，解析在最下面，都是一些自己理解和网上的一些解释，慎重参考1.HDFS 中的 block 默认保存几份？（）？A.3 份B.2 份C.1 份D.不确定2.HDFS 默认 BlockSize 是（）A.32MB B.64MBC.128MB3 .Client 端上传文件的时候下列哪项正确？（）A.数据经过NameNode传递DataNodeB...
2018-11-09 21:30:29
1778
原创 mysql的远程登录授权
获取权限：先从mysql服务器本地登录mysql，后grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;flush privileges;然后从远程用navicat进行测试连接看是否能从远程登录mysql...
2018-10-29 16:10:12
158
原创 Mysql ERROR 1049 (42000): Unknown database '******' ”错误
mysql -u root -p root-p后面输入密码 -p和密码要连起来mysql -h localhost -u root -ppassword 这样就对了
2018-10-28 23:24:19
6034
原创 mapreduce错误
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.aliyun.index.IndexStepOne$IndexStepOneMapper.&lt;init&gt;() at org.apache.hadoop.mapred.LocalJobRunner$Job.runTas...
2018-10-19 17:12:55
253
转载 MapReduce功能实现
版权声明：本文为博主原创文章，请尊重劳动成果，觉得不错就在文章下方顶一下呗，转载请标明原地址。 https://blog.csdn.net/m0_37739193/article/details/76053636 MapReduce功能实现系列：MapReduce功能实现一---Hbase和Hd...
2018-09-26 11:30:17
1106
原创 java.net.UnknownHostException: unknown host:hdp-01
今日份错误：java.net.UnknownHostException: unknown host: hdp-01解决办法： 进入 C:\WINDOWS\system32\drivers\etc\hosts 添加 虚拟机IP 虚拟机主机名 例如 192.168.171.11 hdp-01 上次要测试给注释掉了，忘记改回来了，呵呵呵嘻嘻嘻嘿嘿嘿。。。...
2018-09-17 11:16:07
1309
原创 mybatis逆向工程，生成的xml文件重复ResultMap，有上千行代码问题。org.apache.ibatis.exceptions.PersistenceException
org.apache.ibatis.exceptions.PersistenceException:org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession.### The error may exist in com/aliyun/mybatis/pojo/UserMapper.xml...
2018-09-16 00:19:54
1918
2
原创 java.sql.SQLException: The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more
时区问题数据库后面加上serverTimezone=GMT%2B8或者serverTimezone=Asia/Shanghai例如：URL="jdbc:mysql://localhost:3306/web02?serverTimezone=GMT%2B8
2018-09-15 21:28:45
222
原创 org.xml.sax.SAXParseException; lineNumber: 14; columnNumber: 100; 对实体 "characterEncoding" 的引用必须以 ';'
在写xml时报错 org.xml.sax.SAXParseException; lineNumber: 14; columnNumber: 100; 对实体 “characterEncoding” 的引用必须以 ‘;’&lt;property name="driver" value="com.mysql.jdbc.Driver" /&gt; &
2018-09-13 15:57:54
1929
原创 Request和Response乱码问题
Request的Get方法中文乱码解决方案：String username= request.getParameter("username");new String(username.getBytes("ISO8859-1"),"UTF-8")Request的Post方法中文乱码解决方案：request.setCharacterEncoding(&q
2018-09-04 11:10:10
145
原创 多线程之生产者与消费者
买不起AJ就用程序买……AJ11public class AJ11 { private String name; private double size; public AJ11(String name, double size) { super(); this.name = name; this.size = ...
2018-08-31 22:05:37
148
原创 Socket知识点以及聊天室代码
IP地址：用来唯一表示我们自己的电脑的，是一个网络标示 端口号： 用来区别当前电脑中的应用程序的 UDP: 传送速度快，但是容易丢数据，如视频聊天，语音聊天 TCP: 传送稳定，不会丢失数据，如文件的上传、下载 UDP程序交互的流程UDP是将数据源和目的封装成数据包中，不需要建立连接；每个数据包的大小在限制在64k；因无连接，是不可靠协议；不需要建立连接，速度快TCP...
2018-08-31 22:01:25
393
原创 JAVA学习--MySql
使用SQL语句对数据库进行CRUD操作【创建数据库】 create database 数据库名; create database 数据库名 character set 字符集;【查看数据库】查看数据库服务器中的所有的数据库:show databases;查看某个数据库的定义的信息:show create database 数据库名;【删除数据库】...
2018-08-31 21:51:12
361
原创 JAVA基础--多线程
01进程概念*A:进程概念 *a:进程：进程指正在运行的程序。确切的来说，当一个程序进入内存运行， 即变成一个进程，进程是处于运行过程中的程序，并且具有一定独立功能。02线程的概念 *A:线程的概念 *a:线程：线程是进程中的一个执行单元(执行路径)，负责当前进程中程序的执行， 一个进程中至少有一个线程。一个进程中是可以有多个线程的，...
2018-08-31 21:35:43
168
原创 JAVA基础---集合
集合的学习目标 集合，集合是java中提供的一种容器，可以用来存储多个数据。 在前面的学习中，我们知道数据多了，可以使用数组存放或者使用ArrayList集合进行存放数据。那么，集合和数组既然都是容器，它们有啥区别呢？ 数组的长度是固定的。集合的长度是可变的。 集合中存储的元素必须是引用类型数据集合继承关系图A:集合继承关系图 a:ArrayList的继承关系:...
2018-08-31 21:23:58
143
原创 JAVA基础--常用API三
基本数据类型对象包装类概述 *A:基本数据类型对象包装类概述 *a.基本类型包装类的产生 在实际程序使用中，程序界面上用户输入的数据都是以字符串类型进行存储的。而程序开发中，我们需要把字符串数据，根据需求转换成指定的基本数据类型，如年龄需要转换成int类型，考试成绩需要转换成double类型等 *b.八种基本类型对应的包装类 char Charac...
2018-08-31 21:08:45
145
原创 JAVA基础--常用API二
正则表达式的概念和作用* A: 正则表达式的概念和作用 * a: 正则表达式的概述 * 正则表达式也是一个字符串，用来定义匹配规则，在Pattern类中有简单的规则定义。 可以结合字符串类的方法使用。 * 简单记：正则表达式是具有特殊含义的字符串。 * b: 正则表达式的作用 * 比如注册邮箱,邮箱有用户名和密码,一般...
2018-08-31 20:55:39
114
原创 JAVA基础--常用API总结一
APIapi的概述： 就是java替我们写好的一些类，他封装了一些功能，我们仅仅只需要知道如何使用即可Objectobject的概述： A、 object是所有的类父类 B、 object中的所有方法，子类都能使用（接口不是object的子类）Object 类中常用方法 A、equals() 底层调用其实就是== 方法 == 方法：...
2018-08-31 20:54:42
179
原创 JAVA基础--IO流总结
1.异常异常概述：就是对Java程序运行过程中出现的问题的命名异常处理方式： try...catch.finally：涉及到释放资源和后续代码必须执行时 throws：异常应该交给调用者处理时，或者异常不需要处理时(确保异常肯定不会发生时) throw：抛出自定义异常时子父类异常的注意事项：父类方法没有抛出异常，子类方法就不能抛出2.File类过滤器 ...
2018-08-31 20:29:33
160
原创 JAVA基础--面向对象总结
1.代码块静态代码块：随着类的加载而执行，只会执行一次；一般用于初始化整个应用程序的资源构造代码块：随着对象的创建而执行，优先于构造方法执行；一般用于所有对象都必须初始化的资源普通代码块：放在方法的内部，放在普通代码块里面的变量会快速的释放执行顺序： 静态代码块-&amp;amp;gt;构造代码块-&amp;amp;gt;构造方法2.单例设计模式需求：让一个类只产生一个对象恶汉式：程序加载速度会慢一...
2018-08-31 20:26:00
189
转载 HDFS分布式存储及特点
上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFS，一：HDFS简单介绍&nbsp;&nbsp;&nbsp; HDFS，顾名思义 Hadoop Distributed File System，翻译过来就是hadoop分布式文件系统...
2018-08-22 22:21:52
2618
原创 BufferedRead.readLine;执行write后不让下执行了。
重点内容# 欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键*强调内容*快捷键加粗 Ctrl + B 斜...
2018-08-08 22:16:59
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人