海绵宝宝-Bob-CSDN博客

原创大数据之flume：常见问题和解决办法

在进行flume订阅kafka产生的错误：org.apache.flume.conf.ConfigurationException 解决办法：我安装的flume是1.5，但是配置文件写法参考的是1.7，flume版本不同，配置文件的写法也不同，所以运行报错，改成1.5的配置写法就可以了(目前没找到1.5中对于kafka.topic.regex这种主题名称正则匹配的方式，只好先采用多sour...

2019-09-22 10:54:24 1226

原创 mven基础：常见问题汇总

1. 使用mvn命令导包报错：No plugin found for prefix 'help' in the current project and in the plugin问题：为了到处一个项目的所有第三方依赖包到lib目录下，具体操作如下，结果报了标题上的错误cmd>cd ${pom.xml}cmd>mvn -DoutputDirectory=./lib ...

2019-09-22 10:43:47 187

转载 linux基础：设置Linux环境变量的三种方法

按变量的生存周期来划分，Linux变量可分为两类： 1.永久的：需要修改配置文件，变量永久生效。 2.临时的：使用export命令声明即可，变量在关闭shell时失效。永久的--------------------------------------------------- 在/etc/profile文件中添加变量【对所有用户生效（永久的）】...

2019-09-22 10:18:07 162

原创 IDEA使用常见问题

1.多模块依赖项目打包失败问题描述：项目root,有module common,front,mall等其中front 和mall都依赖于common，将来需要上线部署的也是front和mall项目,所以两个项目是要进行打包，当使用Maven对front项目直接进行package时，提示依赖于common的jar包找不到。解决方案：因为直接对front打包，common并没有被打包，依赖关系...

2019-09-19 16:01:59 255

原创大数据之hadoop：常见错误及其解决方案

一，Hadoop全局排序(TotalOrderPartitioner)错误问题描述：现在有个sequenceFile文件里面记录着年份和温度，key是年份value是温度，找出每年的最高气温然后按照年份递增排序。job本地执行报错：Error: java.lang.IllegalArgumentException: Can't read partitions file at or...

2019-08-01 00:09:08 3750 1

转载 Redis分布式锁的实现方式

前言分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细介绍如何正确地实现Redis分布式锁。可靠性首先，为了确保分布式锁可用，我们至少要确保锁的...

2019-07-05 21:51:07 121

转载大数据之flume:用Flume采集多台机器上的多种日志并存储于HDFS

需求：把node01、node02 机器中的access.log、nginx.log、web.log 汇总到node03机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为：/source/access/20160101/**/source/nginx/20160101/**/source/web/20160101/**第一步：配置node01和node...

2019-07-03 23:56:23 1892 1

原创 linux环境下安装mysql

1. 使用root用户: su root 2. 安装yum install mysqlyum install mysql-serveryum install mysql-devel（可选） 3. 修改配置信息，添加: vim /etc/my.cnf [mysql] default-character-set=utf8 ...

2019-06-17 23:59:11 258

转载 MySQL用户名和密码都正确却无法登陆的问题

使用该语句创建用户mysql>CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';用命令行登陆一直报错，但是navicat客户端却可以正常登陆mysql -u hive -pEnter password: *******ERROR 1045 (28000): Access denied for user 'hive'@'local...

2019-06-17 23:56:11 3369

1.The origin server did not find a current representation for the target resource or is not willing to disclose that one exists.导入外部项目资源文件目录为“web”不是“webcontent”,导致项目页面无法问问解决方法：找到项目的改配置文件，打开.setting ...

2019-06-14 17:18:51 3375

转载 linux基础：centos设置静态ip，修改主机名和ip映射

一、Centos修改静态ip---------------------------------------------------------------------------------1.切换root用户$>su root2.编辑/etc/sysconfig/network-scripts/ifcfg-eth0a.备份文件...

2019-05-24 15:21:36 544

转载大数据之hive：自定义函数udf，udaf，udtf的区别

Hive中有三种UDF:1、用户定义函数(user-defined function)UDF；2、用户定义聚集函数（user-defined aggregate function，UDAF）；3、用户定义表生成函数（user-defined table-generating function，UDTF）。UDF操作作用于单个数据行，并且产生一个数据行作为输出...

2019-05-24 15:06:34 922

转载 Logging—程序员基本修炼之道

1. 一个最基本的例子使用Logging框架写Log基本上就三个步骤引入loggerg类和logger工厂类声明logger 记录日志下面看一个例子//1. 引入slf4j接口的Logger和LoggerFactoryimport org.slf4j.Logger;import org.slf4j.LoggerFactory;public class UserServ...

2018-08-22 17:15:48 320

转载 Linux目录结构和常用命令

一、Linux目录结构你想知道为什么某些程序位于/bin下，或者/sbin，或者/usr/bin，或/usr/sbin目录下吗？例如，less命令位于/usr/bin目录下。为什么没在/bin中，或/sbin，或/usr/sbin目录中？所有这些目录之间有什么不同？在这篇文章中，让我们回顾一下Linux的文件系统结构，并理解各上层目录的含义。蓝色：表示目录青色：表示链接黑色：表...

2018-08-22 16:57:26 342

qq_39436781的博客