- 博客(51)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream
在学习flink是出现以下错误:java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho...
2019-01-03 21:50:11
31722
11
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 unix_timestamp 时间戳函数用法(hive)
一、unix_timestamp函数用法1)返回当前时间的时间戳select unix_timestamp();2)如果参数date满足yyyy-MM-dd HH:mm:ss形式,则可以直接unix_timestamp(string date) 得到参数对应的时间戳或者满足yyyy-MM-dd形式select unix_timestamp('2018-12-05 01:10:00',...
2018-12-26 20:53:45
106063
2
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 虚拟机启动多个Tomcat
1·解压一个tomcat的压缩包tar -zxvf apache-tomcat-7.0.47.tar -C /usr/local2.在bin下启动./startup.sh端口号默认为8080通过web页面可以直接访问3.拷贝另一Tomcatcp -r tomcat tomcat24.修改conf下server.xml这个配置文件这里面需要修改三个地方1)这里原来是8...
2018-12-04 21:58:43
920
1
原创 centos6.5(离线)安装clickhouse
1、下载安装包网址:https://packagecloud.io/altinity/clickhouse?page=24四个安装包:clickhouse-client-19.9.5.36-1.el6.x86_64.rpm clickhouse-common-static-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-common-19.9.5.36-1.el6
2020-10-21 11:41:42
441
原创 Exception in thread “main“ org.apache.spark.SparkException: Yarn application has already ended! It m
spark 提交任务遇到的错误如下:1、错误(1)Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.w
2020-10-12 11:50:12
4264
原创 kylin Connection timed out for connection string (hadoop102:2181:2181,hadoop103:2181:2181,hadoop104
1、安装kylin启动是报错如下meout = 400002020-09-06 01:50:28,236 DEBUG [main] hbase.HBaseConnection:180 : Using the working dir FS for HBase: hdfs://hadoop102:90002020-09-06 01:50:28,312 INFO [main] imps.CuratorFrameworkImpl:224 : Starting2020-09-06 01:50:28,321
2020-09-27 18:30:41
1697
原创 Linux虚拟机Kernel panic-not syncing:Attempted to kill init解决办法
今天开虚拟机,报如下错误,无法开机故障原因是,将SELINUX修改为了disabled导致Linux系统启动故障。通过以下途径解决问题。(1)在开机读秒的时候,按下键e进入如下界面(2)再按e进入如下界面,选第二个按e进入编辑(3)在文件后面加上selinux=0按回车保存退出。(4)按b重启机器。解决问题...
2019-12-01 15:50:33
1557
原创 增大虚拟机磁盘
2、下图可以看到,硬盘空间增大为32.2GB,在设备那里可以看到有两个分区,sda1跟sda2(请忽略sda3)。接下来增加一个分区。3、增加分区1)输入 fdish /dev/sda2)m 帮助3)由此判断我们增加的分区号应该为3(dev/sda1,dev/sda2……接下来应该是dev/sda3了吧)键入n,增加一个分区,得到: dev/sda34) 输入 p5) 输...
2019-03-26 10:05:39
734
转载 MySQL 处理海量数据时的一些优化查询速度方法
在参与实际项目中,当 MySQL 表的数据量达到百万级时,普通的 SQL 查询效率呈直线下降,而且如果 where 中的查询条件较多时,其查询速度无法容忍。想想可知,假如我们查询淘宝的一个订单详情,如果查询时间高达几十秒,这么高的查询延时,任何用户都会抓狂。因此如何提高 SQL 语句查询效率,显得十分重要。查询速度慢的原因:1、没有索引或者没有用到索引2、I/O吞吐量小,形成了瓶颈效应3、...
2019-03-21 15:00:49
161
原创 Cloudera namenode 启动失败
一、在添加hdfs后,启动时发现只有namenode失败,查看日志,错误如下java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:236) at org.apache.hadoop....
2019-03-20 17:45:33
1463
原创 Hive行转列
源数据data title uv2019-01-01 docter 1002019-01-01 nurse 992019-01-02 nurse 1992019-01-02 docter 200输出数据data docter nurse 2019-01-01 100 992019-01-02 200 199在hive中创建表...
2019-03-15 16:49:43
1512
原创 Hbase清空一张表
hbase(main):005:0> truncate 'fr:test'Truncating 'FaceBase' table (it may take a while): - Disabling table... - Dropping table... - Creating table...0 row(s) in 14.4220 secondstruncate是disab...
2019-03-14 17:44:56
806
原创 Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt
在idea中通过spark读取文件是报的错误Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt is not a valid...
2019-03-14 10:46:30
618
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
在我使用 java API操作hive报的错误Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask a...
2019-03-12 17:01:24
1721
原创 hive一直卡住不动
在使用hive 进行sql查询的时候,涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了start-yarn.sh
2019-03-12 16:19:57
8356
1
原创 Hive基础函数
一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法:A=B。如果表达式A与表达式B相等,则为TRUE;否则为FALS...
2019-03-11 13:49:00
342
原创 解决:Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
通过mapreduce 往hdfs包的错误原因是权限错误我使用的是hadoop用户在idea上修改权限为hadoop就可以啦-DHADOOP_USER_NAME=hadoop
2019-01-24 15:27:54
1128
原创 MongoDb快速安装
#配置mongo的yum源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo添加内容如下[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=1...
2019-01-22 13:14:55
213
原创 史上最全spqrk性能调优
1、 性能调优1.1、 分配更多资源1.1.1、分配哪些资源?Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量1.1.2、在哪里分配这些资源?在生产环境中,提交spark作业时,用的spark-submit shell脚本,里面调整对应的参数:/usr/local/spark/bin/spark-sub...
2019-01-21 21:37:29
674
原创 解决:com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
spark读取文件的时候报的一个错误:Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat...
2019-01-16 13:18:18
4700
2
原创 解决:Access denied for user ''@'localhost' (using password: YES)
在idea中通过hive on spark 读取hive中的数据,然后写入mysql 报的一个错误.Exception in thread "main" java.sql.SQLException: Access denied for user ''@'localhost' (using password: YES) at com.mysql.jdbc.SQLError.createSQL...
2019-01-09 21:33:40
8151
6
转载 解决:bash: ./a.sh: /bin/bash^M: bad interpreter: No such file or directory的解决方法
一些人喜欢用vim来写linux shell script, 但是, 有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好, 然后拷贝文件到linux下, 结果呢, 在执行脚本a.sh的时候, 会出现如下问题:什么原因呢, 我们有理由怀疑是文件格式问题? 我们用vim a.sh进入a.sh这个文件, 然后在底部模式下, 执行:set ff查看一下, 结果发现f...
2019-01-09 16:27:33
1835
原创 解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set
在hive表中通过子查询插入数据到分区表时报的错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...
2019-01-08 19:00:00
19847
1
原创 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
原因是:引入的scala版本和提交的版本不一致解决方案:同意scala的版本就行啦
2019-01-03 21:43:48
649
转载 windows环境下netcat的安装及使用
1.下载netcat。下载地址:https://eternallybored.org/misc/netcat/2.解压文件3.把nc.exe 复制到C:\Windows\System32的文件夹下4 、 进去黑窗口使用nc开启两个黑窗口第一个执行nc -l -p 9999第二个执行nc localhost 9999执行结果转载地址:https://blog.c...
2019-01-03 21:05:51
10650
2
原创 利用MapReduce将文件内容写入Hbase表
1、把txt文件传到hdfs上数据以tab键分隔2、map端public class ReadFruitFromHDFSMapper extends Mapper<LongWritable, Text, Text, Put>{ @SuppressWarnings("deprecation") @Override protected void map(LongWritabl...
2018-12-27 22:27:55
1061
2
原创 Shell命令之sed
1、行操作查看第二行:sed -n '2p' lag_lead.txt(显示正确的结果)sed '2p' lag_lead.txt(显示全部结果 不正确)删除2 行 但不删除文件本身 sed '2d' lag_lead.txt在这它不会真正删除表中的数据 需要添加选项 i 才会真正删除再次查看数据都还在在第二行后追加hellosed '2a ...
2018-12-26 21:21:06
1175
原创 Hive中的lag和lead函数简单使用
介绍:Hive的分析函数又叫窗口函数,在oracle中就有这样的分析函数,主要用来做数据统计分析的。Lag和Lead分析函数可以在同一次查询中取出同一字段的前N行的数据(Lag)和后N行的数据(Lead)作为独立的列。这种操作可以代替表的自联接,并且LAG和LEAD有更高的效率,其中over()表示当前查询的结果集对象,括号里面的语句则表示对这个结果集进行处理。函数介绍LAGLAG(c...
2018-12-26 20:00:08
23684
2
原创 记录elasticsearch5.6所报的错误
1、cannot allocate memory解决方案: 虚拟机内存不够,关掉centos,根据你的内存大小增大内存就可以啦!2、can not run elasticsearch as root解决方案:不能再root用户下启动,切换到普通用户。3、seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CON...
2018-12-24 11:45:49
324
原创 setup缓存本地和hdfs文件
从本地读取文件,缓存到map集合中static Map<String, String> question =new HashMap<String, String>();BufferedReader bf = new BufferedReader(new FileReader("文件名")) while((line=bf.readLine())!=null) ...
2018-12-22 10:22:54
207
原创 Azkadan报错:Unrecognized SSL message, plaintext connection?
javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:671)at sun.security.ssl.InputRecord.read(InputRecord.j...
2018-12-21 14:13:56
720
原创 MySql计算百分比和保留小数位
我是求两个数据差值的百分比,用到两个函数。abs(num) 绝对值concat(1,'%') 用来连接百分号round(abs(a.gailv-c.gailv)*100,1) round(num,保留的小数据位)示范:select concat(round(abs(a.num-c.num)*100,1),'%' ) from 表1 as a left join...
2018-12-19 16:54:54
3403
1
原创 解决:java.lang.NumberFormatException: For input string: "null"
在调用split()和Integer.parseInt()时经常遇见这样的问题。 java.lang.NumberFormatException: For input string: "null"的异常,提示出现问题的位置在“ sum_mark=Integer.valueOf(objective_mark).intValue()+Integer.valueOf(subject_mark).intV...
2018-12-18 14:25:07
13264
3
原创 Mybatis简单入门
pom文件 <dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.2
2018-12-13 18:11:45
90
原创 java.lang.RuntimeException: HRegionServer Aborted
我添加协处理后在hbase shell中执行scan操作时regionserver部分挂掉,查看日志。java.lang.RuntimeException: HRegionServer Aborted at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandL at ...
2018-12-08 12:20:31
1174
原创 Mapreduce之hbase报错java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>()
在编写Mapreduce读取hbase数据的时候报了一个这样的错Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>() at org.apache.hadoop.util.ReflectionUtils.newI...
2018-12-07 20:23:06
289
1
原创 Hbase表预分区简单操作
在创建Hbase表的时候默认一张表只有一个region,所有的put操作都会往这一个region中填充数据,当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。HBase表的预分区需要紧密结合业务场景来选择分区的key值,每个region都有一个startKey和一个endKey来表示该regio...
2018-12-06 17:23:52
499
原创 Nginx实现反向代理
反向代理服务器决定哪台服务器提供服务。 返回代理服务器不提供服务器。也是请求的转发。Nginx实现反向代理两个域名指向同一台nginx服务器,用户访问不同的域名显示不同的网页内容。两个域名是www.sian.com和www.sohu.comnginx服务器使用虚拟机192.168.101.3第一步:安装两个tomcat,分别运行在8080和8081端口。第二步:启动两个tomca...
2018-12-04 22:48:46
118
原创 不使用循环条和件语句实现1+2+3+...n
public static int sum(int n) { int sum = n; boolean isContinue = (n > 0) && (sum += sum(--n)) > 0; return sum; } public static void main(String[] args)...
2018-12-01 11:26:18
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人