2018年12月_RayBreslin

12月 11月 10月 09月

原创部署CM报错（8）：删除之前的CM所有文件包括Linux上，然后重新部署，无法启动server

1.问题描述将cm全部组件删除，然后重新安装，无法启动server，启动后，会自动退出。查看日志：tail -100 /opt/cloudera-manager/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log报错...Caused by: javax.persistence.PersistenceExcept...

2018-12-30 22:55:19 595

原创部署CM报错（7）：hue无法访问hbase报错：HBase Thrift 1 server cannot be contacted: Could not connect to hadoop02:90

1.问题描述cm安装hue后，访问hbase数据库，报错HBase Thrift 1 server cannot be contacted: Could not connect to hadoop02:90902.问题原因hbase的thrift server 1被关闭了，可能因为一些问题3.解决进入cm的hbase管理页面，重新开启thrift server 1...

2018-12-30 15:28:19 1181

原创部署CM报错（6）：安装sqoop后，测试连接mysql报错java.lang.RuntimeException: Could not load db driver class: com.mysql.

1.问题描述安装sqoop成功之后，在Linux系统，运行sqoop命令：sqoop list-databases --connect jdbc:mysql://hadoop:3306 --username root --password 123456无法访问mysql数据库，报错：18/12/30 11:55:58 ERROR sqoop.Sqoop: Got excepti...

2018-12-30 12:06:11 1519

原创部署CM报错（5）：hive配置连接mysql报错：Able to find the Database server, but not the specified database.

1.问题描述主机无法连接mysql数据库，连接报错Able to find the Database server, but not the specified database. Please check if the database name is correct and make sure that the user can access the database.2.问...

2018-12-29 22:56:50 2837 2

原创部署CM报错（4）：hdfs上创建文件，报错mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:d

1.问题描述在hdfs上创建目录报错：mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x2.问题原因hdfs上权限限制，root是没有权限的。除非取消hdfs的权限检查。3.解决办法取消hdfs检查权限（1）点击hdfs（2）点击conf...

2018-12-29 22:41:14 4092

原创部署CM报错（3）：启动agent报错Starting cloudera-scm-agent: [FAILED]

一、问题描述启动cm的server成功，启动agent的时候报错，如下：[root@hadoop02 init.d]# ./cloudera-scm-agent start Starting cloudera-scm-agent: [FAILED]二、问题原因cm版本和centos系统版本不对应。自己centos是7.4的，但是cm版本是针对centos6的。之前采用：...

2018-12-29 00:40:11 2701

原创部署CM报错（2）：Formatting the name directories of the current NameNode. If the name directories are not e

一、问题描述第一次添加hdfs服务，有警告一个服务没有启动对。就删除了hdfs。然后重新安装hdfs服务，就报错 Formatting the name directories of the current NameNode. If the name directories are not empty, this is expected to fail.Command (71) ha...

2018-12-29 00:32:13 535

原创部署CM报错（1）：Unable to issue query: could not connect to the Host Monitor，无法显示charts

一、问题描述点击clouldera manager无法显示各个性能图片，报错Unable to issue query: could not connect to the Host Monitor二、原因：没有安装the Management service，自己安装过程中，跳过了那一步。三、解决安装：1.右上角点击add cloudera management S...

2018-12-28 21:56:44 1861

原创 SpringBoot创建web可视化：（5）打jar包部署到服务器

1.实现功能将springBoot打包jar包，放入生产环境中运行2.打包命令（1）使用cmd命令进入项目根目录e:cd E:\Tools\WorkspaceforMyeclipse\Webproject（2）运行编译命令 mvn clean package -DskipTests 结果：[INFO] --- maven-surefire-plugin:2.2...

2018-12-26 00:57:33 598

原创 SpringBoot创建web可视化：（3）调整目录结构

一、实现功能调整目录结构，使项目各个类实现功能更加清晰明了。二、步骤1.调整目录结构2.目录作用（1）Application在com.springboot根目录下（2）dao：数据库访问层（3）domain：自定义存储数据结构三、测试1.重新启动Application2.输入网址http://localhost:9999/SpringBoot/first...

2018-12-25 00:09:08 497

原创 SpringBoot创建web可视化：（2）整合echarts

一、ECharts简介1.功能一个由百度开源的项目，由很多图形模板，例如柱状图、折线图、饼图等，可以用于直接展示数据，功能十分强大。2.官网教程http://www.echartsjs.com/tutorial.html#5%20%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8B%20ECharts二、SpringBoot项目集成echarts1.下载...

2018-12-24 23:43:07 2799

原创 SpringBoot创建web可视化：（1）创建SpringBoot项目

一、创建SpringBoot项目1.选择环境默认2.写入项目名称和包名，可以对应修改3.选择SpringBoot版本本次实例选择1.5.18稳定版，同时勾选Web4.创建项目二、修改Maven仓库为自定义设置1.目的：本地仓库已经有下载，避免重复下载。2.步骤（1）打开设置（2）输入maven，修改默认的maven设置文件为自己对应的仓库...

2018-12-24 21:53:29 1918

原创 Windows下查看占用端口进程以及结束进程命令

1.查看占用端口命令netstat -ano | findstr 8080或者netstat -ano | findstr "8080"结果：C:\Users\Administrator>netstat -ano | findstr 8080 TCP 0.0.0.0:8080 0.0.0.0:0 LISTENING ...

2018-12-24 21:33:24 258

原创 DATAV可视化基本操作

一、实现功能使用阿里云DATAV实现炫酷的数据展示，通过创建静态或者动态数据，使用DATAV提供的模板，实现数据炫酷精确的展示。二、实现步骤1.购买阿里云DAVAV服务，自己使用购买51rmb/年足够。2.创建mysql数据源（首先mysql要有对应数据）（1）进入阿里云的DATAV界面https://datav.aliyun.com/data（2）添加数据源...

2018-12-23 18:04:46 20829 3

原创 SparkStreaming（7-1）：实例-wordcount统计结果写入到MySQL，使用on duplicate key update，重复则叠加

一、实现功能之前使用streaming统计wordcount结果，写入MySQL。但是，当word重复的时候，因为没有设置主键，插入mysql中的是重复键，这样没有统计意义，所以特别在此更新。使用mysql的on duplicate key update功能实现：1.如果插入数据，主键不存在，则进行插入；2.如果存在，则实现更新操作！二、实现步骤1.准备工作：mysql中创建表...

2018-12-23 14:45:20 848

原创数据结构（11）：优先队列

1.定义出对顺序和如对顺序无关，和优先级有关2.使用场景动态选择优先级最高的任务执行，即动态任务处理中心处理任务的原则。3.接口public interface queue<E> { int getSize(); boolean isEmpty(); void enqueue(E e); E dequeue(); E get...

2018-12-20 08:24:55 218

原创数据结构（10）：堆

1.定义：二叉堆是一颗完全二叉树2.特点：（最大堆）堆中某个节点的值总是不大于其父节点的值3.数组存储二叉堆parent（i）=（i-1）/2left child（i）=2*i+1right child（i）=2*i+24.二叉堆实现功能（1）add（2）extractMax取出最大元素（3）replace 取出最大元素后，放入一个新元素，算法复杂度为O（nl...

2018-12-20 08:15:30 156

原创数据结构（9）：基于二分搜索树和链表的映射实现

1.映射定义存储键值对的数据结构，实现根据键，查找值的功能。2.映射实现功能（1）void add(K,V)（2）V remove(K)（3）boolean contains(K)（4）V get(K)（5）void set(K,V)（6）int getSize()（7）boolean isEmpty()（8）映射接口实现public interfac...

2018-12-18 21:52:26 233

原创数据结构（8）：基于二分搜索树和链表的集合实现

一、集合特性不能放重复元素的一些列数的集合。主要应用在：客户统计和词汇量统计。二、集合实现功能1.void add(E)2.void remove(E)3.boolean contains(E)4.int getSize(E)5.boolean isEmpty(E)6.集合接口实现public interface Set<E> { void...

2018-12-18 21:33:22 158

原创数据结构（7）：二分搜索树

一、定义1.二分搜树是二叉树2.二分搜索树的每个节点的值的特性（1）大于其左子树的所有节点的值（2）小于其右子树的所有节点的值3.每一棵子树也是二分搜索树二、代码实现功能1.添加元素2.遍历元素（1）前序遍历顺序实现： ->节点 -> preOrder(node.left); -> preOr...

2018-12-17 18:36:19 177

原创数据结构（5）：链表实现栈和队列

一、链表实现栈1.链表代码https://blog.csdn.net/u010886217/article/details/85014250中链表LinkedVirtualHeadList实现类2.链表实现栈的java代码（1）stack接口public interface stack<E> { int getSize(); //获得元素个数 bo...

2018-12-15 15:53:50 352

原创数据结构（4）：链表

1.链表定义数据存储在节点（Node）中，每个节点包含指向下一个节点的信息。2.特点（1）优点：真正的动态数据结构，可以任意添加以及删除数据（2）缺点：丧失了随机访问元素的功能3.链表java实现public class LinkedVirtualHeadList<E> { //链表中节点类 private class Node{ ...

2018-12-15 15:17:50 179

原创数据结构（3）：队列

1.队列定义只允许在一端进行插入操作，而在另一端进行删除操作的线性表，即先进先出。(FIFO:First In First Out）2.队列实现功能（1）入队 enqueue（2）出队 dequeue（3）获取最前面的元素 getFront3.java代码实现（1）queue接口public interface queue<E> { int g...

2018-12-15 14:05:38 173

原创数据结构（2）：栈

1.栈的定义仅仅限定在表尾进行插入和删除操作的线性表，即后进先出。2.栈的应用（1）程序调用的系统栈，可以实现（2）常见程序的撤销操作。3.实现栈功能（1）进栈 push（2）出栈 pop（3）查询顶端元素 peek4.实现java代码（1）实现栈接口public interface stack<E> { int getSize()...

2018-12-15 13:06:20 123

原创数据结构（1）：数组

1.数组优势（1）快速查询（2）适用于有语境的情况2.制作私有数组（1）使用泛型，从而可以实现存储多种类型数据（2）可以动态扩容或者缩容（3）实现增删改查基本操作3.java实现public class ArrayDynamic<E> { private E[] data; //数组 private int size; //数组中实际...

2018-12-15 12:28:53 153

原创 hue(5):Hue与zookeeper、oozie、Hbase集成

一、配置步骤1.和zookeeper集成，修改hue.ini[zookeeper] [[clusters]] [[[default]]] # Zookeeper ensemble. Comma separated list of Host/Port. # e.g. localhost:2181,localhost:2182,...

2018-12-09 17:29:24 731 2

原创 hue集成mysql问题：配置hue.ini后，进入hue界面无法访问mysql数据库内容

1.问题描述进入hue界面http://hadoop:8888/rdbms/#，发现mysql数据库没有反应，无法获得数据。2.原因hue.ini中的[[[mysql]]]前面两个##没有删除，所以，myslq没有生效。3.解决删除两个##，重启hue即可访问mysql...

2018-12-09 17:22:05 2294

原创 hue(4):Hue与mysql集成

1.配置Hue.ini[[[mysql]]] # Name to show in the UI. nice_name="My SQL DB" # For MySQL and PostgreSQL, name is the name of the database. # For Oracle, Name is instance of the O...

2018-12-09 17:19:24 574

原创 hue(3):Hue与Hive集成

1.修改hive-site.xml<property> <name>hive.server2.thrift.bind.host</name> <value>hadoop</value></property><property> <name>hive.metastor

2018-12-09 17:17:51 520

原创 hue(2):Hue与Hadoop集成

一、实现功能hue界面可以浏览、更改、添加hdfs上的文件，从而，便于更多人员操作大数据平台。二、实现步骤1.hadoop配置（1）配置etc/Hadoop/hdfs-site.xml<property> <name>dfs.webhdfs.enabled</name> <value>true</value>...

2018-12-09 17:13:38 286

原创 Hue error: 集成hive报错Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism avai

1.问题描述hue配置完hive后，打开hue界面报错：Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found (code THRIFTTRANSPORT): TTransportException('Could not st...

2018-12-09 14:56:51 3743 2

原创 hue集成hadoop发生问题:Cannot access: /user/hue. Note: you are a Hue admin but not a HDFS superuser, “hadoo

1.问题描述当进入hue界面，点击File Browser，然后报错403：Cannot access: /user/hue. Note: you are a Hue admin but not a HDFS superuser, "hadoop" or part of HDFS supergroup, "supergroup".SecurityException: Failed t...

2018-12-08 21:18:40 4328 4

原创 hue(1):编译hue

一、准备以及编译1.安装依赖包yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mys...

2018-12-08 11:56:13 389

原创 oozie（5）：oozie配置调度HDFS 多action顺序执行

一、实现功能多个action联合操作，实现复杂功能。二、步骤1.复制shell实例，这里直接复制之前做的shell，只留下job.properties和workflow.xmlcp -r oozie-apps/shell oozie-apps/hdfs2.修改job.propertiesnameNode=hdfs://hadoop:8020jobTracker=ha...

2018-12-08 09:30:02 702

原创 oozie（4）：coordinator调度

一、实现功能定时任务执行。二、步骤1.配置统一系统时区（1）确认东八区date -R（2）不是的话修改，并且重启系统rm -rf /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime2.修改oozie-site.xml（1）添加<property> ...

2018-12-08 09:17:53 560

原创 oozie（3）：oozie配置Shell脚本调度

【参考官网：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.7.0/DG_ShellActionExtension.html】一、实现功能使用oozie调度运行本地shell脚本，实现脚本shell脚本自动化执行。二、步骤1.拷贝官方自带实例模板cp -r examples/apps/shell/ oozie-a...

2018-12-08 09:08:26 2259 2

原创 oozie（2）：oozie配置调度MapReduce简单实例wordcount

一、实现功能使用oozie实现简单的wordcount的mapreduce实例任务调用。二、步骤1.在oozie根目录下创建目录mkdir oozie-apps2.解压缩根目录下原有的实例包tar -zxf oozie-examples.tar.gz3.把需要的模板复制到oozie-apps，并改名字cp -ra examples/apps/map-reduc...

2018-12-06 07:27:08 659

原创 oozie错误：job一直在running或者SUSPENDED，但是就是不执行。任务单独执行是可以的。

1.问题描述一个简单的mapreduce的wordcount任务，单独使用yarn调用时没有任何问题，可以跑出来。但是，放入yarn的时候，就会出现问题。一直时Running的状态，而且hadoop对应目录下也没有输出结果的目录，很是头痛。2.原因：经过百般查找和无限次尝试，发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Ha...

2018-12-06 00:43:58 3894

转载 hadoop端口使用配置总结（非常好的总结）

转自http://www.aboutyun.com/thread-7513-1-1.html Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, Zo...

2018-12-05 00:47:49 995 1

原创 oozie（1）：oozie安装步骤

一、准备工作1.准备软件oozie和ext2.22.Hadoop3.mysql建数据库mysql> create database oozie;二、安装和配置1.上传解压oozie安装包tar -zxvf oozie-4.1.0-cdh5.7.0.tar.gz -C /opt/modules/2.修改hadoop里面的core-site.xml...

2018-12-04 07:48:53 695

Postgresql存储过程.docx

数据库存储过程：包括控制if，循环while/for/loop的实现

2019-07-29

前后端分离-资料.rar

docker部署前后端分离项目的配置文件，基本包含了所有配置需要的文本。可以解决，从网页中拷贝配置文件命令，带有特殊字符的问题，方便快速部署。

2019-07-26

IKAnalyzer2012FF_u1中文分词器

IK中分分词器，在全文检索中非常有用，尤其对于中文文档的全文检索。本压缩包打包文件可以满足使用solr建立全文检索的配置需求。

2019-04-27

hadoop的wordcount简单实例

这是一个wordcount的一个简单实例jar包，仅仅用来做测试。 map类：org.apache.hadoop.wordcount.WordCountMapReduce$WordCountMapper reduce类 org.apache.hadoop.wordcount.WordCountMapReduce$WordCountReducer

2018-12-06