- 博客(87)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 CentOs7 关闭防火墙 - 大数据集群内部环境需要
CentOS7版本后防火墙默认使用firewalld，因此在CentOS7中关闭防火墙使用以下命令，//临时关闭systemctl stop firewalld//禁止开机启动systemctl disable firewalld如果安装了iptables-service，也可以使用下面的命令，//关闭防火墙service iptables stop//检查防火墙状态service iptable...
2018-05-26 10:25:27
897
原创 SPARK APP压测--清理检查相关SHELL（1）
压力测试前需要对大数据环境、日志和存储数据库进行清理、检查环境是否可用、保存测试前的环境状态。压力测试过程中需要定期检查PARQUET文件生成情况、报表生成情况、HBASE数据生成情况、是否有SPARK APP FAILED、收集错误日志等。压力测试后需要检查PARQUET文件生成情况、报表生成情况、HBASE数据生成情况、是否有SPARK APP FAILED、收集错误日志、查看APP执行时间间...
2018-04-27 02:23:16
423
原创 Shell-Bash 根据日期时间统计消息行数
需求：统计某个文件或者特定目录下Kafka消息一段时间范围内每个小时消息条数或者每天消息条数。一行数据行实例：2018-03-28T03：00：02 ...分析： 参数：1.指定文件的文件绝对路径 2.指定日期或者开始日期和结束日期 3.指定小时或者开始小时和结束小时 4.指定统计维度（小时或者天）逻辑：1.输出逻辑 -- 文件 + 屏幕...
2018-03-26 23:52:44
1487
原创 JAVA - Timezones
public static final int TIMEZONE_WEST = -12;public static final int TIMEZONE_EAST = 14; public static void main(String[] args) { String[] ids; String id; for(int offset = TIMEZONE_WEST; o...
2018-02-28 14:18:41
320
原创 ValueError: Some of types cannot be determined by the first 100 rows, please try again with sampling
ValueError: Some of types cannot be determined by the first 100 rows, please try again with samplingResolutions:1.Improve sample ratio, e.g.sqlContext.createDataFrame(rdd, samplingRatio=0.2)2.Tell spa...
2018-02-24 14:59:18
4900
原创 PostgreSQL 删除check约束
删除check约束：1.\d table_name 查找约束名称\d dm_alarms_fct_20170613 "dm_alarms_fct_20170613_dm_transct_date_key_check"2.alter table .. drop constraint ..ALTER TABLE "dm_alarms_fct_20170613" Drop constraint "dm_...
2018-02-24 14:27:26
6784
原创 Warning:Exception while processing task java.io.FileNotFoundException
Warning:Exception while processing task java.io.FileNotFoundException: app\build\intermediates\proguard-rules\release\aapt_rules.txt (The system cannot find the path specified)1. Under 'app' module, i...
2018-02-24 14:25:58
929
原创 HDPCD-Java --- Exam Test -- Map-Side Join
Question:There are two folders in HDFS in the /user/horton folder: flightdelays and weather. These are comma-separated files that contain flight delay information for airports in the U.S. for the year...
2017-11-05 22:33:04
426
原创 HDPCD-Java-复习笔记（23）- lab
Lab: Importing Data into HBaseLab: An HBase MapReduce Job
2017-10-21 22:51:05
347
原创 HDPCD-Java-复习笔记（18） - lab
HDPCD-Java-复习笔记（18） - labJava lab booklet----------------------------------------Understanding PigLab: Writing a Pig User Defined Function (UDF)
2017-10-17 21:43:00
344
原创 HDPCD-Java-复习笔记（17） - lab
HDPCD-Java-复习笔记（17） - labJava lab booklet---------------------------------------MRUnit Test
2017-10-17 17:46:54
270
原创 HDPCD-Java-复习笔记（14）- lab
HDPCD-Java-复习笔记（14）- labJava lab booklet---------------------------------------Lab: Performing a Map-Side JoinLab: Using a Bloom Filter
2017-10-16 10:56:06
565
原创 HDPCD-Java-复习笔记（13）- lab
HDPCD-Java-复习笔记（13）- labJava lab booklet--------------------------------------Lab: Using Data CompressionLab: Defining a RawComparator
2017-10-15 23:05:31
606
原创 HDPCD-Java-复习笔记（10）-lab
HDPCD-Java-复习笔记（10）Java lab booklet--------------------------------------------------Computing the Moving Average of a Stock
2017-10-15 14:19:07
463
原创 HDPCD-Java-复习笔记（9）-lab
HDPCD-Java-复习笔记（9）Java lab booklet-------------------------------Sorting Using a Composite KeyHow CombineFileInputFormat WorksDemo: Processing Multiple InputsLab: Writing a Custom InputFormat
2017-10-15 08:54:04
460
原创 HDPCD-Java-复习笔记（8）- lab
HDPCD-Java-复习笔记（8）Java lab booklet-------------------------------Adding a CombinerComputing the Average of a Collection of NumbersWriting a Custom PartitionerWriting a Custom Output Format
2017-10-14 13:55:28
544
原创 HDPCD-Java-复习笔记（7）- lab
Java Lab BookletLab: Distributed GrepUsing Inverted Index Mapping in MapReduce
2017-10-12 23:52:10
519
原创 ClassNotFoundException: org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory
Nifi使用PutHbaseJSON往HDP平台的HBASE里面写入数据时, 报错ClassNotFoundException: org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory
2017-04-18 12:39:38
4083
原创 centos7 docker容器报 docker Failed to get D-Bus connection 错误
centos7 docker容器报 docker Failed to get D-Bus connection 错误
2017-04-15 10:54:17
10565
6
转载 使用Mybatis-Generator自动生成Dao、Model、Mapping相关文件
转自：http://www.cnblogs.com/lichenwei/p/4145696.html Mybatis属于半自动ORM，在使用这个框架中，工作量最大的就是书写Mapping的映射文件，由于手动书写很容易出错，我们可以利用Mybatis-Generator来帮我们自动生成文件。 1、相关文件关于Mybatis-Generator的下载可以到这
2017-02-18 12:29:24
351
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人