- 博客(46)
- 收藏
- 关注
RSS订阅原创 idea编写spark代码涉及到与hdfs用户权限不匹配
修改代码中用户与hdfs保持一致 System.setProperty("HADOOP_USER_NAME","weishu") 通过设置idea中的vm参数
2020-12-22 15:19:57
412
原创 SparkStreaming测试无法消费socket中数据
消费socket代码逻辑object SparkStreaming01_WordCount { def main(args: Array[String]): Unit = { //此处的local必须大于1才能生效 //Spark配置对象 val sparkConf = new SparkConf().setAppName("SparkStreaming01_WordCount").setMaster("local[2]"); //实时数据分析环境对象 /
2020-12-10 16:24:00
261
原创 java连接HBase错误：INFO client.RpcRetryingCaller: Call exception, tries=10, retries=35, started=59899 ms
当java代码中连接出现此问题时，注意查看hbase几台服务器的hostname，并配置到windows的hosts文件中
2020-06-01 16:34:27
3535
原创 kafka启动报错：org.apache.kafka.common.KafkaException: Found directory /home/chenpeichao/bigdata/project/
当启动kafka服务时报错：org.apache.kafka.common.KafkaException: Found directory /home/bigdata/project/kafka/logs, 'logs' is not in the form of topic-partition or topic-partition.uniqueId-delete (if marked for d...
2020-01-10 15:42:12
1839
转载 elasticsearch常见问题总结
Exception in thread "main" 2017-11-10 06:29:49,106 main ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'log4j2.debug' to show Log4j2 internal initialization logging.Elasticsear
2017-11-10 15:06:26
14347
9
转载 java多线程面试40题
多线程面试40个问题汇总1、多线程有什么用？一个可能在很多人看来很扯淡的一个问题：我会用多线程就好了，还管它有什么用？在我看来，这个回答更扯淡。所谓"知其然知其所以然"，"会用"只是"知其然"，"为什么用"才是"知其所以然"，只有达到"知其然知其所以然"的程度才可以说是把一个知识点运用自如。OK，下面说说我对这个问题的看法：（1）发挥多核CPU的优势随着工业的进步，现在的笔记
2017-06-16 11:22:53
962
原创 idea报错Cannot compile Groovy files: no Groovy library is defined for module X'X
在idea中删除.Groovy即可，但是不知为何，再添加上去，又好了
2017-02-27 22:08:20
8505
1
转载 flume-ng负载均衡load-balance、failover集群搭建
flume-ng简单负载均衡load-balance、failover集群搭建
2017-02-16 17:23:05
327
转载 hive-数据倾斜介绍
原文链接hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案１、join的key值发生倾斜，key值包含很多空值或是异常值这种情况可以对异常值赋一个随机值来分散key如：selectuserid , name
2017-01-11 14:11:51
377
转载 Hive文件格式
原文链接hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数
2017-01-11 10:48:10
289
原创 序列化和反序列化中serialVersionUID的作用
1、基本概念把对象转换为字节序列的过程称为对象的序列化把字节序列恢复为对象的过程称为对象的反序列化。2、主要用途：对象的序列化主要有两种用途： 1） 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 2） 在网络上传送对象的字节序列。 /** * MethodName: SerializeCustomer * Description: 序列化Cu
2016-12-20 11:10:04
2183
原创 yum出错Error: Cannot find a valid baseurl for repo: base
1、问题分析出现此错误可能是因为你的域名解析没有配置好，首先找到配置域名解析的配置google的域名解析软件vi /etc/resolv.conf在最后一行添加：nameserver 8.8.8.8如果没有vi编辑器可用：echo "nameserver 8.8.8.8" >>/etc/resolv.conf然后ping www.baidu.
2016-11-28 15:36:11
491
转载 plsql developer链接oracle数据库
原文链接1.登录PL/SQL Developer这里省略Oracle数据库和PL/SQL Developer的安装步骤，注意在安装PL/SQL Developer软件时，不要安装在Program Files (x86)目录下，不然无法启动PL/SQL Developer。 奇怪这里为什么选择不到数据库的TNS呢？我是先安装数据库，再安装PL/SQL Develop
2016-11-20 14:49:16
478
原创 centos下的mysql安装
方式一：采用yum方式：连接方式二：采用rpm方式：安装的是5.1.7版本1、首先下载MySQL的安装文件，我这里安装的是MySQL5.1.7版本的， 下载链接：http://pan.baidu.com/share/link?shareid=255483056&uk=924063144 http://pan.baidu.com/share/link?shar
2016-08-17 16:07:39
292
转载 java中几种常见的Web Service框架介绍
原文链接在讲Web Service开发服务时，需要介绍一个目前开发Web Service的几个框架，分别为Axis，axis2，Xfire，CXF以及JWS(也就是前面所述的JAX-WS，这是Java6发布所提供的对Web Service服务的一种实现。)前面几项都为开源项目，而其中又以axis2与cxf所最为常用，Axis与XFire已随着技术不断的更替慢慢落幕，而目前也只有axis2和
2016-07-07 16:18:08
2351
转载 mysql和oracle数据库引擎介绍
MySQL： 数据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL+API自己做一个引擎。下面介绍几种数据库引擎：ISAM：ISAM是一个定义明
2016-07-07 16:04:07
21548
2
原创 spring定时器简单介绍
集群配置参考1、核心概念1、scheduler是一个计划调度器容器，容器里面可以盛放众多的JobDetail和trigger，当容器启动后，里面的每个JobDetail都会根据trigger按部就班自动去执行。 2、JobDetail是一个可执行的工作，它本身可能是有状态的。 3、Trigger代表一个调度参数的配置，什么时候去调。 4、当JobDetail和Tri
2016-07-06 16:28:40
1097
原创 spring-quartz表达式介绍
Cron表达式是一个字符串，字符串以5或6个空格隔开，分开共6个或7个域，每一个域代表一个含义,Cron有如下两种语法 格式： Seconds Minutes Hours DayofMonth Month DayofWeek Year 或 Seconds Minutes Hours DayofMonth Month DayofWeek 每一个域可出现的字符如下： 代码
2016-07-06 16:28:01
1781
转载 springmvc中中央控制器、处理器、过滤器和拦截器的执行时机
原文链接由于最近做的项目中有一部分是接口远程调用，用到了接入权限和业务权限的鉴定，需要采用SpringMVC的拦截器，以前用Struts2的时候用过拦截器，而SpringMVC的拦截器功能之前没研究过，所以这次来稍微研究一下，得出的结论是SpringMVC的拦截器和Struts2的拦截器原理几乎是一模一样的，都是利用反射功能实现动态代理。因为过滤器和拦截器有很多相似甚至相同的地方，因为很多
2016-06-30 15:41:16
4351
1
转载 FreeMarker基本语法知识-备忘
FreeMarker的模板文件并不比HTML页面复杂多少,FreeMarker模板文件主要由如下4个部分组成:1,文本:直接输出的部分2,注释:格式部分,不会输出3,插值:即${...}或#{...}格式的部分,将使用数据模型中的部分替代输出4,FTL指令:FreeMarker指定,和HTML标记类似,名字前加#予以区分,不会输出下面是一个FreeMarker模板的例子,包
2016-06-30 15:02:39
382
转载 三大框架ssh的面试该聊的内容
原文链接扩展文章连接：ssh工作原理，ssh底层实现机制与原理先总体说说它们3个代表MVC开发模式中的哪一层..struts2代表控制层,hibernate数据持久层,spring相当于容器，可以整合struts2,hibernate。并且spring的aop可以在service层实现事物控制.然后分别细说先说struts2struts2提供了众多拦截器,页面提交的参数会
2016-06-30 09:53:30
7749
原创 java NIO和BIO的网上介绍总结
1、概念介绍：BIO(Blocking IO)：阻塞IONIO(Non-Blocking IO)：非阻塞IO2、同异步及阻塞非阻塞介绍(以去银行取钱为例)：同步：自己吃银行卡去取钱(使用同步IO时，java自己处理IO读写)；异步：委托小弟拿银行卡去取钱，然后给你(java将IO读写委托给OS处理，需要将数据缓冲区地址和大小传给OS，OS需要支持异步IO操作API)；阻塞：
2016-06-27 14:27:03
1289
原创 事务声明声明式事务和编程式事务介绍
编程式事务：所谓编程式事务指的是通过编码方式实现事务，即类似于JDBC编程实现事务管理。管理使用TransactionTemplate或者直接使用底层的PlatformTransactionManager。对于编程式事务管理，spring推荐使用TransactionTemplate。声明式事务：管理建立在AOP之上的。其本质是对方法前后进行拦截，然后在目标方法开始之前创建或者加入一个事务
2016-06-24 17:41:42
14297
4
原创 数据库物理分页和逻辑分页简单介绍
1、物理分页： 物理分页就是数据库本身提供了分页方式，如mysql的limit，好处是效率高，不好的地方就是不同数据库有不同的搞法。2、逻辑分页：逻辑分页利用游标分页，好处是所有数据库都统一，坏处就是效率低。3、常用orm框架采用的分页技术：①：hibernate采用的是物理分页；②：MyBatis使用RowBounds实现的分页是逻辑分页,也就是先把数据
2016-06-24 14:51:45
12523
原创 jsp中使用response.sendRedirect重定向页面传递中文参数
jsp中使用response.sendRedirect重定向页面传递中文参数
2016-06-21 14:14:17
11078
转载 聚合索引和非聚合索引简单介绍
聚合索引：其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查"安"字，就会很自然地翻开字典的前几页，因为"安"的拼音是"an"，而按照拼音排序汉字的字典是以英文字母"a"开头并以"z"结尾的，那么"安"字就自然地排在字典的前部。如果您翻完了所有以"a"开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查"张"字，那您也会将您的字典翻到最后部分，因为"张"的拼音
2016-06-15 16:41:15
3082
原创 mysql中delete和truncate的区别
首先,这两种都是删除表中的记录.不同的是:1. delete 是逐行标记删除. TRUNCATE 是将整张表包括表结构都移除,然后将表重新创建.2. delete DML语句。 TRUNCATE DDL语句。3. delete 删除的记录可以被恢复，TRUNCATE 不能回复。4. delete 不释放空间，TRUNCATE 释放空间.5. TRUNCATE 会提交事
2016-06-12 16:37:14
706
原创 springmvc中参数传递---RedirectAttributes简
RedirectAttributes的两个api的区别：addFlashAttribute：用于重定向中的jsp界面进行数据显示addAttribute： 用于重定向中的controller中的参数获取数据
2016-06-06 09:35:16
415
原创 mybatis中数组传递注意事项--简
mybatis传递数组数据---本人了解两种第一种：直接传递数组数据mapper中的配置： delete from bbs_brand id #{id} service中的配置： public void deleteBrandById(Integer[] ids) { brandMapper.deleteBrandByIdsAr
2016-06-03 12:35:32
22237
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人