beat_it-CSDN博客

转载 Linux启动提示Kernel panic - not syncing: Attempted to kill init解决办法

系统：RHEL6.5系统启动的时候，按下‘e’键进入grub编辑界面，编辑grub菜单，选择“kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet” 一栏，按‘e’键进入编辑，在末尾增加enforcing=0，即：kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet enforcing=0（其中enforcing=0是需要加上去的，其他不动）按‘...

2020-05-24 21:17:23 1455

转载 Hive SQL 巧妙实现 SQL EXCEPT

Hive Sql 不支持 Except 函数，但是可以巧妙使用用 LEFT OUTER JOIN + 字段IS NOT NULL 实现。Table 1 ：appleorangepearTable 2：appleorangeselect test_1.id, test_1.num from test_1 left outer join test_2 on (test_...

2019-06-05 15:40:07 6040

原创 SQL求相互关注的人数和关注了4的总关注数

求互相关注的人数？select count(1) from tst t1inner join tst t2on t1.uid = t2.uuid and t1.uuid = t2.uid;求关注了4的总关注数？select count(1) from tst t1 inner join (select uid from tst where uuid = '4')

2017-06-23 20:35:36 690

RHEL关闭桌面

REHL系统安装完毕后，默认启动桌面版，如果想关闭桌面程序，只启动命令行系统，执行以下操作：vi /etc/inittab 把：id:5:initdefault:改为：id:3:initdefault: 报存后，重启即可。...

2016-05-14 16:57:18 611

hive show databases 出错

hive 进入客户段后，能够创建database，但是进行show databases;时出错：Failed with exception java.io.IOException:java.io.IOException: Cannot create an instance of InputFormat class org.apache.hadoop.mapred.TextInputForma...

2016-04-12 15:28:04 2390

原创 RHEL6虚拟机克隆网络问题解决方法

RHEL6虚拟机克隆网络问题解决方法文章转载于：http://www.2cto.com/os/201305/215678.html 环境：Virtualbox+RHEL 6 x64用VirtualBox的vboxmanager克隆的虚拟机，操作系统RHEL6，启动后发现网卡不能用了。重启网络服务，报以下错误:Bringing up interface eth0: Device...

2016-03-20 22:42:51 166

原创 spark集群搭建时的一个问题

求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：val file = sc.textFile("hdfs://master138:9000/sparktest/README.md")val spc = file.filter(line => line.contains("Spark"))当运行spc.count 或者 spc.saveAs...

2016-01-14 16:54:18 181

hadoop nanenode -format错误

新搭建的集群进行hdfs格式化时报错，错误信息如下：hdfs namenode -formatError: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode 原因一：查看hadoop-xxx所属用户组是否正确，可使用 chown -R x:x hadoop-xx...

2016-01-12 16:44:56 293

原创 hive启动报错org.apache.hadoop.hive.ql.metadata.,org.apache.derby.jdbc.EmbeddedDriver

使用CHD版本HIVE：hive-1.1.0-cdh5.4.8.tar.gz在HIVE_HOME/bin目录使用 ./hive启动HIVE报错，错误如下：Logging initialized using configuration in jar:file:/home/hadoop/hive-1.1.0-cdh5.4.8/lib/hive-common-1.1.0-cdh5.4.8.j...

2015-12-12 15:31:03 2151

hive解析lzo文件失败,No LZO codec found, cannot run

Hive创建外部表，指向lzo格式文件时，无法解析出数据，报错如下：java.io.IOException: No LZO codec found, cannot run.hiveserver2日志报错如下：Diagnostic Messages for this Task:Error: java.io.IOException: java.lang.reflect.Invocatio...

2015-11-21 11:03:03 1987 5

hive进行count(*)查询报错

使用Hive进行count(*)查询时报错，错误信息如下：chmod: changing permissions of 'hdfs://master138:9000/tmp/hive/anonymous/e013b757-aeee-4017-b0a8-d274d2fafee9/hive_2015-11-20_18-41-46_506_1447956695788790313-3/-mr-100...

2015-11-21 10:52:16 4931

eclipse提交mr到hadoop集群后任务卡住不执行

用eclipse远程提交mr到hadoop集群后，mr卡住后一直不执行，在控制台查日志发现错误如下：org.apache.hadoop.ipc.Client: Retrying connect to server:127.0.0.1:8030. Already tried 0time(s).org.apache.hadoop.ipc.Client: Retrying connect to s...

2015-04-20 23:18:54 373

在集群上执行mr(操作hbase)任务报错

通过eclipse 插件远程提交mr(有操作hbase)任务到集群执行没有问题，打成jar包在集群上执行报错，错误如下：15/04/19 00:20:40 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch hbase:meta table: org.ap...

2015-04-19 15:30:35 321

eclipse提交mr(操作hbase)出错

通过eclipse 远程提交mr(处理文件到hbase)到hadoop集群报错：错误信息如下：2015-04-19 11:31:46,800 WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-jav...

2015-04-19 12:40:10 212

原创软件下载地址记录

软件下载地址记录：hadoop2.2：http://mirror.bit.edu.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz hbase0.96.2：http://mirror.bit.edu.cn/apache/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz ...

2015-04-11 21:44:50 331

原创 java操作mysql实现增删改查

从http://blog.csdn.net/yanzi1225627/article/details/26950615摘了篇文章，具体如下：利用Java针对MySql封装的jdbc框架类 JdbcUtils 完整实现(包含增删改查、JavaBean反射原理，附源码) jdbcmysql反射javabean最近看老罗的视频，跟着完成了利用Java操作MySql数据库的一...

2014-09-11 23:12:29 616

hadoop mr file2hfile2hbase

写了个简单的mr 操作file到hfile,在把hfile倒入hbase的例子，在此记录一下：File2HFile2HBase.java代码：package com.lyq.study.example;import java.io.IOException;import java.security.PrivilegedAction;import java.util.Arr...

2014-08-27 00:25:57 291

原创 java socket 多线程

从http://www.blogjava.net/sterning/archive/2007/10/15/152940.html摘了篇java socket thread 的文章：服务端：package com.lyq.socket.server;import java.io.BufferedReader;import java.io.IOException;impor...

2014-08-25 21:54:27 110

java调用HBase api创建表，插入数据

今天看说学习了下通过java 调用HBase api 实习表的创建和数据插入的操作，贴下代码：package com.lyq.study.api;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Config...

2014-08-24 21:06:01 1774 2

原创收录的好博客地址

Java并发教程（Oracle官方资料）http://www.iteye.com/magazines/131-Java-Concurrency Java NIO.2收藏详细介绍 JSR203（More New I/O APIs for the Java Platform）规范。从 Java 7 开始，可以使用 NIO.2 部分替换旧的 I/O 操...

2014-08-20 23:00:34 128

原创 dom4j 解析String 数组格式xml

package com.sds.mobile.groupware.news.connector; import java.util.Iterator;import org.dom4j.Document;import org.dom4j.DocumentHelper;import org.dom4j.Element; public class test { ...

2014-08-20 21:58:50 831

Java操作FileSystem的简单应用

看着书写了下通过java操作filesystem api对hdfs操作的简单操作，贴下代码： package com.lyq.study.api;import java.io.IOException;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FSDataOutputStre...

2014-08-20 21:46:54 2496

hdfs读取文件插入到hbase简单实例

今天搞了个通过hdfs mapper读取文件插入到hbase表的简单实例，在这里记录一下，如下：java代码(File2HBase1.java)： package com.lyq.study.example;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import o...

2014-08-18 23:32:23 663

原创 Eclipse向hadoop提交作业时权限问题

通过Eclipse向hadoop 提交作业时权限问题报错：Permission denied: user=LiuYQ, access=WRITE, inode="/test":hadoop:supergroup 解决方法：在master集群上使用超级用户hadoop执行以下命令：hadoop fs -chmod 777 /testhadoop fs -chmod 777 ...

2014-08-17 10:58:08 217

hadoop eclipse plugin 集成报错

把hadoop-eclipse-plugin-2.2.0.jar放到Eclipse的plugin目录，重启Eclipse后，运行WordCount报错：Java代码如下：package com.lyq.study.example;import java.io.IOException;import java.util.StringTokenizer;import org.apach...

2014-08-17 09:59:04 103

hibernate里实体类映射文件里多对一的实体类名称写错

问题：Exception in thread "main" org.hibernate.MappingException: An association from the table crm_liushi refers to an unmapped class: com.crm.entity.person at org.hibernate.cfg.Configuration.secondP...

2011-12-15 01:05:40 148

原创 hibernate里实体类映射文件名称重复

SSH 开发项目时的一个错：Exception in thread "main" org.hibernate.InvalidMappingException: Could not parse mapping document from resource com/crm/entity/User.hbm.xml at org.hibernate.cfg.Configuration.addRes...

2011-12-15 00:53:47 317