- 博客(31)
- 收藏
- 关注
RSS订阅原创 sqoop将mysql数据导入hive中出现问题 java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
[root@hadoop4 bin]# sqoop create-hive-table --connect jdbc:mysql://192.168.2.14:3306/mydb --username root --password 123456 --table employee --hive-table employee --fields-terminated-by "\t"Warning:...
2018-11-30 14:05:07
4021
原创 centos6.5安装hive-1.2.2
开始安装下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-1.2.2/上传到/opt/soft 目录，然后解压 tar -zxvf apache-hive-1.2.2-bin.tar.gz 配置hive环境变量 vim /etc/profile 添加如下内容export HIVE_HOME=/opt/soft/a...
2018-11-29 14:20:14
304
原创 Hive启动报错spark-assembly-*.jar: No such file or directory
安装完成spark后，启动hive，发生错误:ls: cannot access /opt/soft/spark-2.1.3-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory问题原因： 新版本的spark的jar包路径有变化，hive没有及时更新解决办法：// 修改hive的启动脚本vim h...
2018-11-29 13:40:35
1307
转载 Elasticsearch查询match、term和bool区别
es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是一部分，并不是可以直接黏贴复制进去使用的。一般要在外面加个q...
2018-11-26 14:57:54
839
原创 elasticsearch的term query与match query区别
看官方提供的例子curl -XPUT localhost:9200/my_index -d '{ "mappings": { "my_type": { "properties": { "full_text": { "type": "string" }, "exact_valu
2018-11-26 14:36:51
1745
原创 elasticsearch5.6.13安装问题
1、首先要远程连接就要修改elasticsearch.yml配置文件的network.host改为 network.host: 192.168.2.14 （自己局域网ip）或者 0.0.0.02、如果遇到问题max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144...
2018-11-21 20:38:04
401
原创 centos6.5安装单机版hadoop2.6.0
安装hadoop之前，首先要安装 jdk1.8.0_181（我使用的版本） 并配置jdk环境变量，接下来开始安装hadoop1. hadoop2.6.0下载下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/2 .解压安装包tar -zxvf hadoop-2.6.0.tar.gz -C /opt/soft/...
2018-11-21 11:36:04
724
原创 Java的静态内部类与非静态内部类的区别
1 static 静态修饰符在程序中任何变量或者代码都是在编译时由系统自动分配内存来存储的。 static修饰表示静态的，在类加载时JVM会把它放到方法区，被本类以及本类中所有实例所公用。在编译后所分配的内存会在一直存在，直到程序退出内存才会释放这个空间。如果一个被所有实例公用的方法被申明为static，那么就可以节省空间了，不用每个实例初始化的时候都被分配到内存。2.内部类定义在一个类...
2018-11-13 19:57:48
264
原创 windows本地运行hadoop的MapReduce程序
1.下载hadoo安装到windows本地 地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz2. 解压之后进行设置环境变量 新建 HADOOP_HOME D:\software\hadoop-2.6.0 Path中增加 %HADOOP_...
2018-11-13 10:51:31
4159
1
转载 HDFS文件常用命令
1、fs最常用命令bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹bin/hadoop fs -rm hdfs_path //删除HDFS上的文件bin/hadoop fs -rmr hdfs_path //删除HDFS上的文件夹...
2018-11-12 18:05:48
752
1
原创 使用java操作Hbase数据库
pom.xml中引入hbase依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche...
2018-11-12 17:50:35
284
原创 Hbase个人总结
1. hbse中的namespace指对一组表的逻辑分组，类似mysql中的database，hbse中table指一张表，类似mysql中的table2. java使用windows远程访问hbase时需要配置windows本地hosts文件，增加hbase所在主机的IP地址和主机名3. hbase服务器的运行状态可以访问 http://hbase主机:16010 ...
2018-11-12 15:59:52
199
原创 查看修改CentOS系统的默认启动级别
CentOS桌面版系统安装完后就运行在第5个级别，即系统启动后直接进入图形界面，而不用在字符模式下登录后用init 5来启动图形界面，这样的确很方便，不过有时还是要默认以字符界面启动，只需要要修改centos的启动级别就可以了。首先 vim /etc/inittab可以看到开头的系统级别的定义：# Default runlevel. The runlevels used are:#...
2018-11-12 11:27:46
1708
原创 HBase的rowkey的设计原则
HBase是按照三个维度有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有两种方式：1、通过get方式，指定rowkey获取唯一一条记录 2、通过scan方式，设置startRow...
2018-11-12 09:57:21
190
原创 cent os6.5查看磁盘和内存空间
1.显示系统中空闲和已用内存的数量 free 命令格式: free [-b | -k | -m] [-o] [-s delay ] [-c count ] [-a] [-t] [-l] [-V]部分参数：-b 以字节为单位显示内存量; -k（默认设置）以千字节显示; -m以兆字节显示。-t 显示包含总计的行。-o 禁用“缓冲区调整”行的显示。 如果未指定-o选项，则free...
2018-11-09 15:42:24
3545
转载 大数据面试题及答案
1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url? 假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。 Step1：遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将u...
2018-11-08 11:05:37
11176
转载 大数据面试题及答案
第1部分 选择题1.1 Hadoop选择题1.1.1 Hdfs1. 下面哪个程序负责 HDFS 数据存储？ ca)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker2. HDfS 中的 block 默认保存几份？aa)3...
2018-11-08 09:48:57
6612
转载 chkconfig添加自定义服务
1、在/etc/init.d/目录下新建一个自定义服务的文件如：myservice.sh2、添加下面两句到 #!/bin/bash 之后。# chkconfig: 2345 10 90 # description: 这里写英文的服务介绍说明：当我们使用命令 chkconfig --add myservice 提示service myservice does not support ...
2018-11-07 17:09:21
611
原创 cdh5安装前需要安装的第三方依赖包
yum -y install bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb libxml2-python
2018-11-07 16:32:27
800
原创 CDH初始化scm数据库
/opt/cloudera-manager/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -h hadoop1 -utemp -ptemp --scm-host hadoop1 scm scm scm
2018-11-07 11:17:42
4778
原创 Vmware克隆出的cent os新机器如何配置网络
1.编辑eth0网卡，删除UUID唯一标识、删除HWADDR物理地址、修改IPADDR ip地址2.修改主机名 HOSTNAME为hadoop23.删除70-persistent-net.rules 文件4.重启虚拟机
2018-11-07 11:10:23
259
原创 JAVA多线程10个线程处理1000个数据
import java.util.ArrayList;import java.util.List;import java.util.concurrent.CountDownLatch;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;public class MultiT...
2018-11-06 11:02:14
19237
4
原创 CDH5.15.0安装失败后重装
1. 删除所有节点在安装过程中产生的文件 rm -rf /opt/cloudera-manager/cm-5.15.0/lib/cloudera-scm-agent/* rm -rf /var/log/hadoop、hive、hbase等cloudera包含的所有组件的文件 rm -rf /etc/hadoop、hive、hbase等cloudera包含的...
2018-11-05 20:57:01
638
转载 CDH中安装Hue连接不上数据库 Unexpected error. Unable to verify database connection 完美解决方案
在安装CDH时，走到验证数据库连接部分时候，Hue总是验证不过去，报错为： Unexpected error. Unable to verify database connection。原因大都是因为缺少环境包所致。我安装的过程中分别使用过postgresql和mysql，都出现过相同问题最终都得以解决，解决方法如下：比如：我把Hue安装在slave1节点上当使用Postgresql ...
2018-11-05 13:50:03
9596
原创 cent os 6.5永久关闭防火墙
servcie iptables stop 为关闭正在运行的防火墙，chkconfig iptables off 为下次开机时不启动防火墙，执行两条命令即可永久关闭防火墙[root@hadoop1 ~]# servcie iptables stop[root@hadoop1 ~]# chkconfig iptables off...
2018-11-02 15:57:57
1579
2
原创 cent os 6.5开放3306等端口
首先打开防火墙配置vim /etc/sysconfig/iptables中间增加一行-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT然后重启防火墙即可成功service iptables restart ...
2018-11-02 15:52:29
1512
原创 开启MySQL远程访问权限允许远程连接（解决Host is not allowed to connect to this MySQL server问题）
登陆mysql数据库 [root@hadoop1 data]# mysql -uroot -p123456查看user表mysql> select host,user,password from user;+-----------+------+-------------------------------------------+| host | use...
2018-11-02 15:14:15
1810
原创 mysql 5.5 rpm方式卸载
首先查看mysql服务状态[root@hadoop1 data]# service mysql statusMySQL is running [SUCCESS]如果mysql正在运行中停止mysql服务，否则不用停止[root@hadoop1 data]# service mysql stop查看...
2018-11-02 14:40:37
339
原创 cent os 6.5通过rpm方式安装mysql5.5
首先在mysql官网下载mysql的rpm安装包 ，下载地址为：https://dev.mysql.com/downloads/mysql/5.5.html#downloads可以下载 RPM Bundle版的，这是个压缩包里面包含mysql-server、mysql-client、mysql-devel等等所有的rpm包，也可以单独下载RPM Package, MySQL Server、 R...
2018-11-01 19:43:54
471
原创 cent os 6.5 安装 mysql 5.5出现warning
执行 rpm -ivh MySQL-server-5.5.62-1.el6.x86_64.rpm 命令后出现 warning: MySQL-server-5.5.62-1.el6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY解决办法：这是由于yum安装了旧版本的GPG keys造成的，安装命令增加 --...
2018-11-01 13:26:20
455
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人