s小菜鸟-CSDN博客

原创 java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream

在学习flink是出现以下错误：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho...

2019-01-03 21:50:11 31722 11

原创 unix_timestamp 时间戳函数用法（hive）

一、unix_timestamp函数用法1）返回当前时间的时间戳select unix_timestamp();2）如果参数date满足yyyy-MM-dd HH:mm:ss形式，则可以直接unix_timestamp(string date) 得到参数对应的时间戳或者满足yyyy-MM-dd形式select unix_timestamp('2018-12-05 01:10:00',...

2018-12-26 20:53:45 106063 2

原创虚拟机启动多个Tomcat

1·解压一个tomcat的压缩包tar -zxvf apache-tomcat-7.0.47.tar -C /usr/local2.在bin下启动./startup.sh端口号默认为8080通过web页面可以直接访问3.拷贝另一Tomcatcp -r tomcat tomcat24.修改conf下server.xml这个配置文件这里面需要修改三个地方1）这里原来是8...

2018-12-04 21:58:43 920 1

原创 centos6.5（离线）安装clickhouse

1、下载安装包网址：https://packagecloud.io/altinity/clickhouse?page=24四个安装包：clickhouse-client-19.9.5.36-1.el6.x86_64.rpm clickhouse-common-static-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-common-19.9.5.36-1.el6

2020-10-21 11:41:42 441

原创 Exception in thread “main“ org.apache.spark.SparkException: Yarn application has already ended! It m

spark 提交任务遇到的错误如下：1、错误（1）Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.w

2020-10-12 11:50:12 4264

原创 kylin Connection timed out for connection string (hadoop102:2181:2181,hadoop103:2181:2181,hadoop104

1、安装kylin启动是报错如下meout = 400002020-09-06 01:50:28,236 DEBUG [main] hbase.HBaseConnection:180 : Using the working dir FS for HBase: hdfs://hadoop102:90002020-09-06 01:50:28,312 INFO [main] imps.CuratorFrameworkImpl:224 : Starting2020-09-06 01:50:28,321

2020-09-27 18:30:41 1697

原创 Linux虚拟机Kernel panic-not syncing:Attempted to kill init解决办法

今天开虚拟机，报如下错误，无法开机故障原因是，将SELINUX修改为了disabled导致Linux系统启动故障。通过以下途径解决问题。（1）在开机读秒的时候，按下键e进入如下界面（2）再按e进入如下界面，选第二个按e进入编辑(3)在文件后面加上selinux=0按回车保存退出。(4)按b重启机器。解决问题...

2019-12-01 15:50:33 1557

原创增大虚拟机磁盘

2、下图可以看到，硬盘空间增大为32.2GB，在设备那里可以看到有两个分区，sda1跟sda2（请忽略sda3）。接下来增加一个分区。3、增加分区1）输入 fdish /dev/sda2）m 帮助3）由此判断我们增加的分区号应该为3(dev/sda1,dev/sda2……接下来应该是dev/sda3了吧)键入n，增加一个分区，得到： dev/sda34) 输入 p5）输...

2019-03-26 10:05:39 734

原创奇葩搞笑的代码注释

/** * * _ooOoo_ * o8888888o * 88" . "88 * (| -_- |) * O\ ...

2019-03-22 16:20:00 1051

转载 MySQL 处理海量数据时的一些优化查询速度方法

在参与实际项目中，当 MySQL 表的数据量达到百万级时，普通的 SQL 查询效率呈直线下降，而且如果 where 中的查询条件较多时，其查询速度无法容忍。想想可知，假如我们查询淘宝的一个订单详情，如果查询时间高达几十秒，这么高的查询延时，任何用户都会抓狂。因此如何提高 SQL 语句查询效率，显得十分重要。查询速度慢的原因：1、没有索引或者没有用到索引2、I/O吞吐量小，形成了瓶颈效应3、...

2019-03-21 15:00:49 161

原创 Cloudera namenode 启动失败

一、在添加hdfs后，启动时发现只有namenode失败，查看日志，错误如下java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:236) at org.apache.hadoop....

2019-03-20 17:45:33 1463

原创 Hive行转列

源数据data title uv2019-01-01 docter 1002019-01-01 nurse 992019-01-02 nurse 1992019-01-02 docter 200输出数据data docter nurse 2019-01-01 100 992019-01-02 200 199在hive中创建表...

2019-03-15 16:49:43 1512

原创 Hbase清空一张表

hbase(main):005:0> truncate 'fr:test'Truncating 'FaceBase' table (it may take a while): - Disabling table... - Dropping table... - Creating table...0 row(s) in 14.4220 secondstruncate是disab...

2019-03-14 17:44:56 806

原创 Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt

在idea中通过spark读取文件是报的错误Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt is not a valid...

2019-03-14 10:46:30 618

原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

在我使用 java API操作hive报的错误Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask a...

2019-03-12 17:01:24 1721

原创 hive一直卡住不动

在使用hive 进行sql查询的时候，涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了start-yarn.sh

2019-03-12 16:19:57 8356 1

原创 Hive基础函数

一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALS...

2019-03-11 13:49:00 342

原创解决：Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

通过mapreduce 往hdfs包的错误原因是权限错误我使用的是hadoop用户在idea上修改权限为hadoop就可以啦-DHADOOP_USER_NAME=hadoop

2019-01-24 15:27:54 1128

原创 MongoDb快速安装

#配置mongo的yum源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo添加内容如下[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=1...

2019-01-22 13:14:55 213

原创史上最全spqrk性能调优

1、性能调优1.1、分配更多资源1.1.1、分配哪些资源？Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量1.1.2、在哪里分配这些资源？在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-sub...

2019-01-21 21:37:29 674

原创解决：com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat

spark读取文件的时候报的一个错误：Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat...

2019-01-16 13:18:18 4700 2

原创解决：Access denied for user ''@'localhost' (using password: YES)

在idea中通过hive on spark 读取hive中的数据，然后写入mysql 报的一个错误.Exception in thread "main" java.sql.SQLException: Access denied for user ''@'localhost' (using password: YES) at com.mysql.jdbc.SQLError.createSQL...

2019-01-09 21:33:40 8151 6

转载解决：bash: ./a.sh: /bin/bash^M: bad interpreter: No such file or directory的解决方法

一些人喜欢用vim来写linux shell script, 但是，有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好，然后拷贝文件到linux下，结果呢，在执行脚本a.sh的时候，会出现如下问题：什么原因呢，我们有理由怀疑是文件格式问题？我们用vim a.sh进入a.sh这个文件，然后在底部模式下，执行:set ff查看一下，结果发现f...

2019-01-09 16:27:33 1835

原创解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set

在hive表中通过子查询插入数据到分区表时报的错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...

2019-01-08 19:00:00 19847 1

原创 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)

原因是：引入的scala版本和提交的版本不一致解决方案：同意scala的版本就行啦

2019-01-03 21:43:48 649

转载 windows环境下netcat的安装及使用

1.下载netcat。下载地址：https://eternallybored.org/misc/netcat/2.解压文件3.把nc.exe 复制到C:\Windows\System32的文件夹下4 、进去黑窗口使用nc开启两个黑窗口第一个执行nc -l -p 9999第二个执行nc localhost 9999执行结果转载地址：https://blog.c...

2019-01-03 21:05:51 10650 2

原创利用MapReduce将文件内容写入Hbase表

1、把txt文件传到hdfs上数据以tab键分隔2、map端public class ReadFruitFromHDFSMapper extends Mapper<LongWritable, Text, Text, Put>{ @SuppressWarnings("deprecation") @Override protected void map(LongWritabl...

2018-12-27 22:27:55 1061 2

原创 Shell命令之sed

1、行操作查看第二行：sed -n '2p' lag_lead.txt(显示正确的结果)sed '2p' lag_lead.txt(显示全部结果不正确)删除2 行但不删除文件本身 sed '2d' lag_lead.txt在这它不会真正删除表中的数据需要添加选项 i 才会真正删除再次查看数据都还在在第二行后追加hellosed '2a ...

2018-12-26 21:21:06 1175

原创 Hive中的lag和lead函数简单使用

介绍：Hive的分析函数又叫窗口函数，在oracle中就有这样的分析函数，主要用来做数据统计分析的。Lag和Lead分析函数可以在同一次查询中取出同一字段的前N行的数据(Lag)和后N行的数据(Lead)作为独立的列。这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。函数介绍LAGLAG(c...

2018-12-26 20:00:08 23684 2

原创记录elasticsearch5.6所报的错误

1、cannot allocate memory解决方案：虚拟机内存不够，关掉centos，根据你的内存大小增大内存就可以啦！2、can not run elasticsearch as root解决方案：不能再root用户下启动，切换到普通用户。3、seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CON...

2018-12-24 11:45:49 324

原创 setup缓存本地和hdfs文件

从本地读取文件,缓存到map集合中static Map<String, String> question =new HashMap<String, String>();BufferedReader bf = new BufferedReader(new FileReader("文件名")) while((line=bf.readLine())!=null) ...

2018-12-22 10:22:54 207

原创 Azkadan报错:Unrecognized SSL message, plaintext connection?

javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:671)at sun.security.ssl.InputRecord.read(InputRecord.j...

2018-12-21 14:13:56 720

原创 MySql计算百分比和保留小数位

我是求两个数据差值的百分比，用到两个函数。abs（num）绝对值concat(1,'%') 用来连接百分号round(abs(a.gailv-c.gailv)*100,1) round（num,保留的小数据位）示范：select concat(round(abs(a.num-c.num)*100,1),'%' ) from 表1 as a left join...

2018-12-19 16:54:54 3403 1

原创解决：java.lang.NumberFormatException: For input string: "null"

在调用split()和Integer.parseInt（）时经常遇见这样的问题。 java.lang.NumberFormatException: For input string: "null"的异常，提示出现问题的位置在“ sum_mark=Integer.valueOf(objective_mark).intValue()+Integer.valueOf(subject_mark).intV...

2018-12-18 14:25:07 13264 3

原创 Mybatis简单入门

pom文件 <dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.2

2018-12-13 18:11:45 90

原创 java.lang.RuntimeException: HRegionServer Aborted

我添加协处理后在hbase shell中执行scan操作时regionserver部分挂掉，查看日志。java.lang.RuntimeException: HRegionServer Aborted at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandL at ...

2018-12-08 12:20:31 1174

原创 Mapreduce之hbase报错java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>()

在编写Mapreduce读取hbase数据的时候报了一个这样的错Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>() at org.apache.hadoop.util.ReflectionUtils.newI...

2018-12-07 20:23:06 289 1

原创 Hbase表预分区简单操作

在创建Hbase表的时候默认一张表只有一个region，所有的put操作都会往这一个region中填充数据，当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。HBase表的预分区需要紧密结合业务场景来选择分区的key值，每个region都有一个startKey和一个endKey来表示该regio...

2018-12-06 17:23:52 499

原创 Nginx实现反向代理

反向代理服务器决定哪台服务器提供服务。返回代理服务器不提供服务器。也是请求的转发。Nginx实现反向代理两个域名指向同一台nginx服务器，用户访问不同的域名显示不同的网页内容。两个域名是www.sian.com和www.sohu.comnginx服务器使用虚拟机192.168.101.3第一步：安装两个tomcat，分别运行在8080和8081端口。第二步：启动两个tomca...

2018-12-04 22:48:46 118

原创不使用循环条和件语句实现1+2+3+...n

public static int sum(int n) { int sum = n; boolean isContinue = (n > 0) && (sum += sum(--n)) > 0; return sum; } public static void main(String[] args)...

2018-12-01 11:26:18 336

空空如也

空空如也