2019年10月_allures2

原创 rowkey设计原则和方法

rowkey设计原则和方法rowkey设计首先应当遵循三大原则：rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。一般越短越好，不要超过16个字节，注意原因如下：1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。2...

2019-10-31 16:12:14 534

原创 BigDecimal的运算——加减乘除

BigDecimal的运算——加减乘除1、初始化（尽量用字符串的形式初始化） BigDecimal num12 = new BigDecimal("0.005"); BigDecimal num22 = new BigDecimal("1000000"); BigDecimal num32 = new BigDecimal("-1000000");2、加法 add()...

2019-10-30 14:56:24 495

原创 linux后台执行命令：&和nohup

linux后台执行命令：&和nohup当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。&当在前台运行某个作业时，终端被该作业占据；可以在命令后面加...

2019-10-24 14:38:14 123

原创 linux设置开机启动

linux设置开机启动1、新建一个批处理文件xxxx.sh，内容模板如下cd 要启动的程序路径./程序名2、修改批处理文件的权限 chmod 777 xxxx.sh3、vim /etc/rc.local 增加启动项/home/xxxx.sh >> /home/xxxx.out &4、执行命令：ll /etc/rc3.d/正常情况，这里会有S99local...

2019-10-24 14:18:54 299

原创 log4j.properties

#log4j.rootLogger=warn,a1#lot4j.appender.a1.Target=System.out#log4j.appender.a1=org.apache.log4j.ConsoleAppender#log4j.appender.a1.layout=org.apache.log4j.PatternLayout#log4j.appender.a1.layout.Co...

2019-10-24 10:14:14 99

原创 MySQL优化

MySQL优化1、索引优化索引本身就很大，索引往往以文件的形式存储在磁盘上（1）性能下降的原因 1)查询语句写的烂 2)索引失效 3)关联查询太多的join 7种join 4)服务器调优设置(缓冲、线程等)（2）概念：索引就是帮助MySQL高效的获取数据的数据结构（3）优势：降低数据库的IO成本，通过索引列数据排序，降低数据排序的成本，降低了CPU的消耗（4）劣势：索...

2019-10-24 10:06:24 112

原创 sqoop数据迁移

sqoop数据迁移查看所有的数据库sqoop list-databases -connect jdbc:mysql://hadoop1:3306 -username root -password root查看text库中所有表sqoop list-tables -connect jdbc:mysql://hadoop1:3306/test -username root -password...

2019-10-24 10:04:53 114

原创 you-get安装及使用

you-get安装及使用1、安装python下载地址：https://www.python.org/downloads/配置环境变量：我的电脑 --> 属性 --> 高级系统设置 --> 环境变量 --> PATH --> 加入python的bin路径2、安装ffmpeg -versionhttps://ffmpeg.org/download.html配置...

2019-10-24 10:02:58 1068

原创 maven打包插件

maven打包插件<build> <pluginManagement> <plugins>  <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-ma...

2019-10-24 10:02:06 232

原创 CPU、内存、磁盘、IO流查询

2019-10-24 09:57:31 294

原创 hive四种导入方式

hive四种导入方式建表语句create table test(name string,friends array,children map<string, int>,address struct<street:string, city:string>)row format delimited fields terminated by ‘,’collect...

2019-10-24 09:56:11 220

原创 count(*) 和 count(1)和count(列名)区别

count(*) 和 count(1)和count(列名)区别执行效果上：count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULLcount(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULLcount(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0，而是表示null）的计数，即某个字段值为NU...

2019-10-24 09:54:59 172

原创 MongoDB、Redis、elasticSearch、hbase的对比

MongoDB、Redis、elasticSearch、hbase的对比MongoDB优点：最大的特点是表结构灵活可变，字段类型可以随时修改。插入数据时，不必考虑表结构的限制不需要定义表结构这个特点给表结构的修改带来了极大的方便缺点给多表查询、复杂事务等高级操作带来了阻碍适用场景MongoDB很适合那些表结构经常改变，数据的逻辑结构没又没那么复杂不需要多表查询操作，数据量又比...

2019-10-24 09:54:13 687

原创数据库基本操作

数据库基本操作创建新表CREATE TABLE usertbl(name VARCHAR(20), signupdate DATE);插入数据INSERT INTO usertbl(name, signupdate) VALUES('张三', '2013-12-22');选择记录SELECT * FROM user_tbl;更新数据UPDATE user_tbl set na...

2019-10-24 09:52:07 160

原创 Linux 下清理系统缓存并释放内存

Linux 下清理系统缓存并释放内存缓存数据存放位置当在Linux下频繁存取文件后，物理内存会很快被用光，当程序结束后，内存不会被正常释放，而是一直作为caching因此我们很有必要手动清理系统缓存释放内存。1、我们在清理缓存前应该先sync下sync因为系统在操作的过程当中，会把你的操作到的文件资料先保存到buffer中去，因为怕你在操作的过程中因为断电等原因遗失数据，所以在你操作...

2019-10-23 15:34:53 2772

原创 linux服务器查看进程、线程数量

2019-10-23 09:08:06 42486 4

allure