- 博客(26)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 org.apache.thrift.TApplicationException: Invalid method name问题解决
在调用Thrift接口时，报出的错误（org.apache.thrift.TApplicationException: Invalid method name）。1 检查调用的ip和端口是否正确。2 检查客户端和服务端采用的协议是否一致。...
2018-06-01 08:55:51
14746
原创 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile问题解决
在编译Spark源码的时候，遇到了该问题，有两种可能的问题存在。第一种：在spark 文件夹下的pom.xml里加入如下依赖，源码编译就没有报错成功编译出来了。修改spark源码下的 pom.xml 文件<dependency> <groupId>net.alchim31.maven</groupId> <artifactId...
2018-06-01 08:51:03
12616
3
原创 构建大数据ETL通道--Json数据的流式转换--Json转Parquet（三）
如果生成的日志数据是Avro格式，可直接采用上一篇的方式（https://blog.csdn.net/qq_29829081/article/details/80518671），将Avro数据转储为Parquet。但是我们一般都是日志数据不是Avro，大部分是Json数据。因此，本篇主要讲如何将Json通过Morphline流式转储为Parquet数据。文章中只是简单的例子，在实际生产环境中，我们...
2018-06-01 08:41:50
2693
原创 构建大数据ETL通道--Json数据的流式转换--Avro转Parquet（二）
如果我们生成的日志是Avro格式的文件，那么可以直接采用kite-dataset将Avro数据流式转换成Parquet数据进行存储，并在Hive进行查询。以下是具体步骤。1 创建dataset ./kite-dataset create dataset:hdfs://test/user/litao/test/parquet/litao/ --schema litao.avsc --form...
2018-05-31 08:32:59
1999
3
原创 构建大数据ETL通道--Json数据的流式转换--Json转Avro（一）
公司之前收集日志数据，采用的是Json格式（因为原始日志格式就是Json的）。采用Json格式的优点是开发简单、数据可读性强；缺点是占用的存储空间太大、相应Hive表的查询速度很慢。因此，我们开展调研工作，准备解决这两个痛点。调研的过程分了很多步，接下来我将写几篇文章来大概描述一下。因为也是在探索，有的工作做得不是很充分，大家可以多提建议，共同交流。为了提高数据的传输效率，我们打算将日志的生成格式...
2018-04-19 20:26:18
1888
1
原创 Ambari搭建大数据平台教程（HDP）
搭建测试环境本文是公司搭建测试环境大数据平台时总结的，按安装相应版本的官方文档的步骤翻译过来的。其中遇到了一些问题，相应的解决方案也都一一列举了。按照这个方式一定可以搭建成功。基本信息：系统：Ubuntu-14.04.1JDK版本：jdk-8u111SCALA版本：MySQL数据库：各个服务器的角色：172.28.44.120：nn0172.28.44.121...
2018-02-13 18:47:29
16755
转载 一致性Hash(Consistent Hashing)原理剖析
引入在业务开发中，我们常把数据持久化到数据库中。如果需要读取这些数据，除了直接从数据库中读取外，为了减轻数据库的访问压力以及提高访问速度，我们更多地引入缓存来对数据进行存取。读取数据的过程一般为：图1：加入缓存的数据读取过程对于分布式缓存，不同机器上存储不同对象的数据。为了实现这些缓存机器的负载均衡，可以使用式子1来定位对象缓存的存储机器：m = hash(o) mod n ——式...
2020-03-20 23:56:13
189
原创 sqoop从mysql导数据到hive异常
1 异常信息：com.mysql.jdbc.exceptions.jdbc4.MySQLDataException: '18446744073387431615' in column '5' is outside valid range for the datatype BIGINT. at sun.reflect.NativeConstructorAccessorImpl.newIn...
2018-07-25 09:01:51
786
原创 Ambari agranfa启动失败
采用Ambari搭建的大数据平台，agranfa启动失败。 通过查询日志/var/log/ambari-metrics-grafana，发现有如下报错： [web.go:93 StartServer()] [E] Fail to start server: listen tcp 0.0.0.0:3000: bind: address already in use ...
2018-05-31 08:23:59
1390
原创 Hadoop distcp命令遇到的异常及解决方案
1 异常信息 Caused by: java.io.IOException: Mismatch in length of source:hdfs://xxx and target:hdfs://xxx2 原因 需要远程复制的文件没有关闭，还处于写的状态。3 解决方案：1） 检查文件状态hdfs fsck hdfs://14.29.89.227:8020/flume/h...
2018-03-18 21:55:06
7409
3
原创 Ambari配置邮件警告--监控大数据平台
1 打开管理界面2 创建Alert3 编辑内容-- Name：自定义-- Group：Ambari提供了一些默认的警告方案，也可以自定义。每个Group包含的报警信息都可以自己配置。-- Severity：发送报警的级别。包含：OK，WARNING，CRITICAL，UNKNOWN。-- Description：自定义。-- Method：发送方式。包含Email和SNMP。-- Email To...
2018-03-18 21:37:15
2581
转载 SparkMLlib的数据类型讲解
SparkMLlib的数据类型讲解Mllib支持单机上存储的本地向量和矩阵，也支持由一个或者多个RDD支持的分布式矩阵。本地向量和本地矩阵是简单的数据模型，用作公共接口。由Breeze提供基本的线性代数运算。。在监督学习中使用的训练示例在MLlib中被称为“labeled point”一 本地向量本地向量存储于单台机器，其拥有整类型的行，从0开始的索引，和double类型的
2018-01-14 23:10:08
968
原创 Hadoop格式化时Namenode启动失败解决方案
确保各个节点的zookeeper已经启动。启动各个zookeeper，命令（./zkServer.sh start）；检查各个节点zookeeper的状态，命令（./zkServer.sh status）。手动启动journalnode进程。启动各个Namenode上的 journalnode进程，命令（./ hadoop-daemon.sh start journalnode）；检查jour
2018-01-14 22:43:57
2425
原创 如何创建github的repository,并和本地仓库关联
1 生成key。2 github中添加key(pub)。3 在github创建repository，并和本地的仓库（本地仓库的创建请参考http://www.liaoxuefeng.com/wiki）名称保持一直。4 在本地关联远端。如果输入$ git remote add origin git@github.com:（githu
2016-08-21 11:14:31
2047
原创 如何生成git-key，并与github关联
1 下载本地安装git。https://git-scm.com/download。安装成功之后在桌面点击右键，就可以看到与git相关的菜单，说明安装成功。2 点击上图的Git Bash打开git命令操作窗口。3 输入以下命令，连续按回车键三次即可，当然保存路径也可以有自己设置，看个人需求。下图的1处是自定义key的保存路径，2处是定义密码的，如果直接按回车三次则保存在默认路径：c:
2016-08-21 10:29:24
1753
原创 如何在MyEclipse中管理JVM内存？
在我们调试代码的过程中，可能会出现内存溢出的情况。在程序不修改的前提下，我们可以试着加大JVM的内存。本文讲解了在MyEclipse中管理JVM内存的详细步骤。
2016-04-30 07:47:45
392
原创 如何在MyEclipse10中配置Jad反编译工具？
在学习编程的过程当中，我们需要经常看一些源码。一般情况下，我们都需要导入源码，才能打开项目中jar包里面的class文件，但是这样操作非常麻烦，如果不用关联源码就可以查看源码，会大大提高学习效率。因此，我们就需要在开发工具中配置反编译工具。我在网上搜了很多资料，结果都配置失败，最后有一篇博客（http://blog.csdn.net/yjhandyw/article/details/21083071#comments）给了启发，最后在MyEclipse10当中配置成功。现在就将自己的一点经验分享给大家，希望
2016-04-05 21:53:24
7612
3
原创 Hibernate4学习总结(4)--注解形式的集合映射，关联关系映射
本文将接着上文，讲解hibernate4的集合映射的注解和关联关系映射的注解。本文包括两个部分： 1.集合映射的注解。 2.关联关系映射的注解。二、关联关系映射的注解
2016-04-04 10:39:55
8541
原创 Hibernate4学习总结(3)--注解形式的基础映射，主键映射，基本属性映射，复合属性映射，继承映射。
Hibernate Annotation即hibernate注解，可以通过另一种方式将持久化类转化成表的相关信息，可以简化hibernate的配置文件。本文主要对Hibernate的注解进行讲解，由于篇幅原因，将注解部分分为两篇文章来写。集合映射和关联关系映射将在后面一文讲解。本文包括以下五个部分：基础映射。主键映射。基本属性映射。复合属性映射。继承映射。一、基础映射（注解
2016-04-04 01:42:00
4805
原创 Hibernate4学习总结(2)--配置形式的集合映射，关联关系映射
本文包括以下四个部分： 1. 增删改查（CDUR）方法。 2. 集合映射。 3. 关联关系映射。 4. Inverse属性和cascade属性。
2016-03-31 00:52:20
1921
原创 Hibernate4学习总结(1)--基本原理，开发步骤，配置详解
本文包括以下五个部分： 1. ORM思想以及JAP的概述。 2. Hibernate框架的简介。 3. 模拟Hibernate框架，理解运行原理。 4. Hibernate4框架的开发步骤。 5. Hibernate的执行过程。
2016-03-29 01:32:50
7227
1
原创 Struts2学习总结(3)--值栈，Ognl表达式，Struts标签库，国际化，数据校验，拦截器
本文包括以下五个部分： 1. 值栈。 2. Ognl表达式。 3. struts2标签库。 4. 国际化。 5. 表单数据校验 6. 拦截器。 7. struts2的执行过程。
2016-03-28 10:56:08
3581
5
原创 Struts2学习总结(2)--数据接收，数据共享，类型转换，上传下载
本文包括以下两个部分：1. Struts2的基本配置和通用功能。2. Struts2的核心功能：数据接收，数据共享，类型转换，上传下载。
2016-03-27 23:43:14
2518
2
原创 Struts2学习总结(1)--基本原理，开发步骤，配置详解
本文包括以下三个部分：1、模拟Struts2框架，了解基本原理。2、Struts2的开发步骤。3、Struts2的配置详解。是学习Struts2的入门知识。里面包含详细的代码示例。
2016-03-20 18:55:07
2987
6
原创 使用MySQL数据库的查询功能时，如何解决Invalid use of group function的问题
在使用MySQL数据库时，经常会遇到一个错误提示：Invalid use of group function。意思是没有正确使用group function。当查询的结果指代不明，或者和接受结果的变量数据类型不匹配时，都会导致这个错误提示。因此，遇到这个错误时，首先就考虑这两个地方有没有出问题。代码示例：-- 原来的代码DELIMITER $CREATE PROCEDURE tes
2016-01-07 22:55:31
23203
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人