自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 大数据学习笔记之HBase(四):HBase高级、HBase案例

文章目录三十、HBase节点的管理三十一、集群失效的可能性三十二、HBase数据的备份与恢复三十三、HBase的过滤器三十四、HBase的协处理三十五、HBase版本确界三十六、HBase在目前行业前景中的应用三十七、一些优化技巧三十八、HBase表类型的设计三十九、HBase的预分区四十、HBa...

2019-05-31 13:06:49

阅读数 213

评论数 0

原创 大数据学习笔记之HBase(三):HBase API使用、HBase与Hive相关、HBase shell

文章目录二十、HBaseAPI的使用二十一、文件格式的说明二十二、HBase的MapReduce的调用二十三、BulkLoad加载文件到HBase表二十四、HBase自定义MapReduce二十五、HBase与Hive的对比二十六、HBase与Hive交互操作二十七、HBase与Sqoop集成二十...

2019-05-31 13:05:19

阅读数 239

评论数 0

原创 大数据学习笔记之HBase(二):HBase安装与部署相关

文章目录十一、HBase的安装与部署十二、HBase常用操作十三、HMaster的高可用十四、HBase和Hadoop的集群类型十五、集群配置举例十六、CDH配置十七、容量规划十八、HBase读写流程十九、HBase中的3个重要机制 十一、HBase的安装与部署 HBase安装部署之前需要确保HD...

2019-05-31 13:02:58

阅读数 200

评论数 0

原创 大数据学习笔记之HBase(一):HBase入门

文章目录一、HBase的起源二、基于Hadoop的HBase架构三、RDBMS与HBase的对比四、HBase特征简要五、HBase在集群中的定位六、HBase内部存储架构七、HBase与Hadoop八、HBase的优缺点九、HBase的环境角色十、使用场景的探讨十一、HBase的安装与部署十二、...

2019-05-28 23:02:31

阅读数 1240

评论数 1

原创 win10 提示:您的windows许可证即将过期

原文:http://www.baofengjihuo.com/archives/6482#comments 右击桌面左下角的“开始”按钮(小娜的左边),从其右键菜单中选择“命令提示符(管理员)”项进入 在命令行输入 //注意此命令只能在管理员中进行,直接 cmd+r(不知道win中那个叫什么)是不...

2019-05-28 22:24:03

阅读数 3082

评论数 0

原创 大数据学习笔记之Oozie(一):Oozie入门

文章目录1、Oozie英文翻译2、Oozie简介3、Oozie在集群中扮演的角色4、Oozie的功能模块5、Oozie的节点6、Oozie的安装与部署7、案例7.1、案例一:使用Oozie调度Shell脚本7.2、案例二:执行多个Job调度7.3、案例三:调度MapReduce任务7.4、案例四:...

2019-05-28 08:45:22

阅读数 1936

评论数 1

原创 大数据学习笔记之Flume(一):Flume入门

文章目录1、Flume在集群中扮演的角色2、Flume框架简介3、安装配置FLume4、Flume帮助命令 1、Flume在集群中扮演的角色 将hive产生的日从linux本地移到HDFS上 Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时...

2019-05-27 08:41:33

阅读数 233

评论数 0

原创 大数据学习笔记之Hive(七):Hive正则表达式导入数据、UDF日期转换

文章目录Hive正则表达式导入数据UDF日期转换编写添加到hive: Hive正则表达式导入数据 需求:上面的日志中间不是用tab键分割的 建表语句: create table IF NOT EXISTS db_web_data.baidu_log ( remote_addr string, r...

2019-05-27 08:02:32

阅读数 264

评论数 0

原创 在 idea中集成Alibaba Cloud Toolkit后,maven项目打包成zip,不能正常上传的问题。

文章目录报错解决 报错 因为是包含子项目的,最后打成的包是zip包,而且没有在target目录下面,而cloud tookit应该默认去target目录下的找根据artifactId和version和packaging拼接成项目名字,而我的packaging是pom,所以去找target/xxx...

2019-05-22 17:05:57

阅读数 434

评论数 0

原创 maven---org.hibernate.MappingException: Unknown entity: com.test.entity.User

文章目录报错解决 报错 hibernate 报错: org.hibernate.MappingException: Unknown entity: com.test.entity.User 解决 hibernate的配置文件放在resource下面,因为是maven项目。貌似在maven项目中...

2019-05-20 20:06:59

阅读数 315

评论数 0

原创 警告: No mapping found for HTTP request with URI [/user/test] in DispatcherServlet with name 'springDi

文章目录报错原因代码 报错 五月 20, 2019 5:41:55 下午 org.springframework.web.servlet.DispatcherServlet noHandlerFound 警告: No mapping found for HTTP request with URI ...

2019-05-20 18:11:24

阅读数 988

评论数 0

转载 spring classpath:和classpath*:区别和实际应用

classpath:和classpath*:的含义 classpath: :表示从类路径中加载资源,classpath:和classpath:/是等价的,都是相对于类的根路径。资源文件库标准的在文件系统中,也可以在JAR或ZIP的类包中。 classpath*::假设多个JAR包或文件系统类路径都...

2019-05-20 14:30:20

阅读数 205

评论数 0

转载 IDEA中Maven依赖包下载不了的问题解决方案汇总

这个依赖包下载不了的问题真的是很烦,之前一直把下载不上的依赖剪切再粘贴到pom.xml文件中,保存它就自动下载了,但是今天怎么剪切粘贴都没用,所以就花了点时间在网上各种搜解决方案,试了一些之后终于从根本上解决了问题,所以写个博客把解决这个问题的方案汇总一下! 先是对图上的两个位置一番狂点进行刷新...

2019-05-20 12:10:28

阅读数 2448

评论数 0

转载 hibernate3 maven demo

https://www.cnblogs.com/leiOOlei/p/3376155.html

2019-05-20 10:34:34

阅读数 185

评论数 0

原创 大数据学习笔记之Hive(六):Hive综合练习

文章目录1、上传文件到HDFS1.1 文件/目录准备工作2、清洗日志2.1 编写清洗日志的MR代码:2.2 导出Jar包3、执行创建表操作4、关联表操作5、分析数据6、导出到Mysql Hive综合练习: 1、写一个自动化脚本,自动拷贝/home/admin/WebLog/目录(服务器产生日志的目...

2019-05-17 14:03:26

阅读数 508

评论数 0

原创 在 idea中集成Alibaba Cloud Toolkit ,实现项目自动部署,实时查看日志

文章目录功能安装配置hostsftp和连接服务器一键部署 功能 能够在idea中迅速连接到服务器(免密) 能够在idea中sftp文件,上传文件到服务器 能够在idea中一键执行maven命令,打包===>部署到服务器===>执行自己的运行脚本。 安装 配置host 添加新的ho...

2019-05-16 19:57:36

阅读数 589

评论数 0

原创 大数据学习笔记之Hive(五):Hive分析项目分析

文章目录 商业网站中经常统计的数据有哪些 UV:独立访客 ** 同一个用户访问多次会产生多个记录,但是这些记录会在运算的时候合并为1个 ** 语法:count(distinct guid) PV:页面浏览量 ** 同一个用户访问多次,产生多条记录,每一条记录都是一次PV ** 语法:count(u...

2019-05-16 08:36:14

阅读数 268

评论数 0

原创 大数据学习笔记之Hive(四):Hive关于表的相关操作、Sqoop

文章目录Hive创建表的方式Hive表导入数据方式Hive表导出数据方式Hive数据清洗之思路Hive自动化处理日志Hive中的几种排序业务案例梳理Sqoop案例 Hive创建表的方式 1、使用create命令创建一个新表 例如:create table if not exists db_web_...

2019-05-14 08:46:16

阅读数 969

评论数 0

原创 Maven pom文件模板

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=&...

2019-05-13 15:37:14

阅读数 1055

评论数 0

原创 大数据学习笔记之Hive(三):Hive入门

文章目录复习:Hive框架基础(二) 复习: 安装流程 解压安装 配置文件修改 Mysql安装(可以使用其他数据库) log4j的修改 启动命令 $ bin/hive 针对的是本地启动 建表语句: create table if not exists db_hive_demo.emp( em...

2019-05-12 22:50:12

阅读数 1262

评论数 0

原创 instrutment中retransformClasses和redefineClasses

retransformClasses:对于已经加载的类重新进行转换处理,即会触发重新加载类定义,需要注意的是,新加载的类不能修改旧有的类声明,譬如不能增加属性、不能修改方法声明 redefineClasses:与如上类似,但不是重新进行转换处理,而是直接把处理结果(bytecode)直接给JVM ...

2019-05-12 20:28:54

阅读数 1419

评论数 0

原创 大数据学习笔记之Hive(二):Hive介绍以及简单操作

文章目录yum -y install mysql mysql-server mysql-develwget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-relea...

2019-05-11 22:49:33

阅读数 1357

评论数 2

原创 大数据学习笔记之Hive(一):准备工作

文章目录复习:准备一键启动/关闭脚本的编写 复习: 检查Linux配置 1、防火墙关闭 2、/etc/hosts的IP映射 3、/etc/hostname 主机名 4、ntp时间服务器 5、网卡信息配置 检查HDFS\检查YARN\检查MR export JAVA_HOME hadoop.env...

2019-05-11 22:48:27

阅读数 1037

评论数 0

原创 TongWeb基本应用

启动报错 Can not find Java VM 查看 tongserver脚本,发现有如下片段 57 if [ ! -x $JAVA ] ; then 58 echo Can not find Java VM 59 exit 1 60 fi 配置成如下

2019-05-10 16:49:34

阅读数 1499

评论数 0

原创 java得到机器cpu使用率的计算方法深入理解

文章目录 之前写熔断功能,需要获取机器的cpu使用率 转载过一篇文章:https://blog.csdn.net/dataiyangu/article/details/83988775 从/proc文件系统获取cpu使用情况: cat /proc/stat 输出解释: idle (42214...

2019-05-10 12:33:33

阅读数 1845

评论数 1

原创 用git提测一系列错误:下载报错,提交也报错

文章目录git clone 到本地报错方法一方法二配置sshgit push报错方法一方法二 建议:直接用方法二 git clone 到本地报错 方法一 ➜ measure git clone https://xxxx.git 正克隆到 'TSB_backend_dev...

2019-05-10 12:03:47

阅读数 1398

评论数 1

原创 批量删除博客园文章

1.打开检查 2.console 3.输入 $('tr').each(function(){ if($(this).attr('id')!=null){ var s = $(this).attr('id�...

2019-05-08 22:33:04

阅读数 1502

评论数 0

原创 大数据学习笔记之Hadoop(四):Hadoop-HA

文章目录vi /etc/sysconfig/network-scripts/ifcfg-eth0systemctl stop firewalld.service(关闭防火墙)systemctl disable firewalld.service(防火墙开机禁用)vi /etc/profilecat...

2019-05-08 09:45:16

阅读数 1679

评论数 0

原创 大数据学习笔记之Zookeeper(四):Zookeeper实战篇(二)

文章目录4.1 分布式安装部署4.2 客户端命令行操作4.3 API应用4.3.1 eclipse环境搭建4.3.2 创建ZooKeeper客户端:4.3.3 创建子节点4.3.4 获取子节点4.3.5 判断znode是否存在4.3.6 监听服务器节点动态上下线案例 4.1 分布式安装部署 0)集...

2019-05-06 21:38:49

阅读数 2250

评论数 0

原创 大数据学习笔记之Zookeeper(三):Zookeeper理论篇(二)

文章目录3.1 数据结构3.2 节点类型3.3 特点3.4 选举机制3.5 stat结构体3.6 监听器原理 3.1 数据结构 ZooKeeper数据模型的结构与Unix文件系统很类似,整体上可以看作是一棵树,每个节点称做一个ZNode。 很显然zookeeper集群自身维护了一套数据结构。这个存...

2019-05-06 21:31:56

阅读数 1943

评论数 0

原创 大数据学习笔记之Zookeeper(二):Zookeeper实战篇(一)

文章目录2.1 本地模式安装部署2.2 配置参数解读 2.1 本地模式安装部署 1)安装前准备: (1)安装jdk (2)通过filezilla工具拷贝zookeeper到到linux系统下 (3)修改tar包权限 chmod u+x zookeeper-3.4.10.tar.gz (4)解压到指...

2019-05-06 21:28:08

阅读数 2026

评论数 0

原创 大数据学习笔记之Zookeeper(一):Zookeeper理论篇(一)

文章目录1.1 概述1.2 应用场景1.3 下载地址 1.1 概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一...

2019-05-06 21:25:17

阅读数 2229

评论数 0

原创 ngrinder压力测试

文章目录另一篇部署demo写脚本压力测试目标主机监控可能报错总结: 另一篇 https://blog.csdn.net/dataiyangu/article/details/88851898 部署demo 在机器上部署自己的用于测试的demo,我就是直接在tomcat下安装的 写脚本 通过书写gr...

2019-05-06 18:58:18

阅读数 2327

评论数 0

原创 java.lang.IllegalArgumentException: object is not an instance of declaring class新发现

文章目录背景报错解决引申 背景 因为要将方法缓存起来提高性能 报错 java.lang.IllegalArgumentException: object is not an instance of declaring class 解决 之前我的一篇文章: https://blog.csdn.ne...

2019-05-05 20:20:39

阅读数 2336

评论数 1

提示
确定要删除当前文章?
取消 删除