- 博客(59)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 手把手教你设置 IntelliJ IDEA 的彩色代码主题
手把手教你设置 IntelliJ IDEA 的彩色代码主题：https://blog.csdn.net/qq_35246620/article/details/79056530推荐几个IDEA插件，Java开发者撸码利器：https://www.cnblogs.com/jimoer/p/8799437.html...
2019-08-20 10:50:28
3049
原创 source tree跳过登入的方法window
Code～https://www.cnblogs.com/SkyflyBird/p/10834780.html如果编写了错误的内容请指出，否则会误导很多人博客园 首页 新随笔 联系 管理随笔 - 103文章 - 4评论 - 0sourceTree 跳过登录的方法官网下载地址：https://www.sourcetreeapp.com/安装过程中，出现...
2019-08-06 16:07:27
329
原创 注解@JsonFormat的使用
为解决前后台时间显示差8个小时给这个对象实体类中的get方法加注解：@JsonFormat（pattern=”yyyy-MM-dd”,timezone=”GMT+8”）依赖的jar包：jackson-annotations-2.2.3.jarhttps://download.csdn.net/download/forlovehuan/10588386<dependency&g...
2019-07-31 11:03:52
481
原创 python代码设置字符集编码和全局设置字符集编码
1、代码设置字符集编码import sys reload(sys) sys.setdefaultencoding('utf8') 2、在linux中设置全局字符集编码为utf8在python的Lib\site-packages文件夹下新建一个sitecustomize.py，内容为：# encoding=utf8 import sys reload(s...
2019-07-26 15:38:02
3072
原创 spark参数设置
这里写自定义目录标题 总结 Spark系统的性能调优是一个很复杂的过程，需要对Spark以及Hadoop有足够的知识储备。从业务应用平台（Spark）、存储 （HDFS）、操作系统、硬件等多个层面都会对性能产生很大的影响。借助于多种性能监控工具，我们可以很好地了解系统的性能表现，并根据上面介绍的经验进 行调整。 #spark.driver.extraJavaOptions -XX:...
2019-07-18 11:53:50
529
原创 没错，就是Access-Control-Allow-Origin，跨域
1、浏览器的同源安全策略没错，就是这家伙干的，浏览器只允许请求当前域的资源，而对其他域的资源表示不信任。那怎么才算跨域呢？请求协议http,https的不同 域domain的不同 端口port的不同好好好，大概就是这么回事啦，下面我们讲2种中规中矩的办法：CORS，JSONPdocument.domain，window.name，web sockets就先别闹了，腰不好 : )...
2019-07-11 18:51:20
454
转载 从零开始实现Java多线程数据库连接池（附一个神秘的问题）
https://blog.csdn.net/soonfly/article/details/72731144
2019-07-10 21:33:03
329
原创 sourcetree和gitlab配置图解
一.前期准备安装1.git客户端（1.产生gitlab服务端和本地git相互传输时所需要校验的私钥和公钥 2.直接在Idea中使用git提交和push代码，当然也可以用sourcetree提交代码）2.sourcetree客户端（1.拉取远端服务器代码到本地2.push本地代码到远端 3.创建分支，解决提交代码中的冲突）3.gitlab账号（一般公司配置，用自己的邮箱）（...
2019-07-02 23:23:03
298
原创 java编写1970 到现在多少天
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30...
2019-06-28 18:30:19
1437
原创 windows环境编写shell脚本执行失败，linux环境下查看出现^M
报错：syntax error near unexpected token最近开发shell脚本，为了方便，在window环境下开发，推送到linux环境下执行，结果嘞，总是执行失败，失败率百分之百，略心塞。。。于是在linux环境上查看脚本，发现每行结尾出现^M字符，脚本中出现其他字符，脚本肯定执行失败使用pycharm打开脚本，脚本内容也是正常的，重新保存，scp到linux服务...
2019-06-26 11:46:02
312
原创 Azkaban任务流编写
在Azkaban中，一个project包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是Command，也可以是一个Hadoop任务。当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow。本文介绍如何在Azkaban上编写四类任务流:Command、Hive、Java、H...
2019-06-18 00:01:33
662
原创 azkaban错误排查日志
azkaban错误排查日志：https://blog.csdn.net/liu16659/article/details/81367312
2019-06-17 19:11:04
1001
原创 java开发遇到得问题合集
1、java后台解决跨域问题https://www.cnblogs.com/ouyanxia/p/8462997.html2、@RequestParam注解一般用法https://www.cnblogs.com/libin6505/p/8315359.html3、java 子类强转父类 父类强转子类https://www.cnblogs.com/ooo0/p/930...
2019-06-11 15:27:27
1036
原创 Parquet文件
列存储和行式存储的比较列存储和传统的行式存储，在存储介质中的排列方式如图所示。这种存储方式也就决定了他们的适用场景。需要事务处理行存储更适用于OLTP（on-line transaction processing）的场景，在这种场景中，大部分情况下需要存储数据的全量或者一大部分字段，并且需要支持频率不低的更新和插入操作。而最近火起来的大数据的要求却于此大相径庭，这种场景...
2019-06-05 21:16:24
527
原创 linux生成随机密码
1、生成20位随机数openssl rand 20 -base642、加密uuidgen更多加密方式参考：Linux自带随机密码生成命令,让加密随处可行
2019-06-05 10:53:22
308
原创 String.format()的详细用法
问题在开发的时候一段字符串的中间某一部分是需要可变的 比如一个Textview需要显示”XXX用户来自 上海 年龄 21 性别 男”其中的 XXX 是用户名 每个用户也是不一样的地区 上海 为可变的string数据年龄 21 为可变的int数据性别 男 为可变的string数据遇到这种情况你们是怎么样解决的呢?把这段字符串保存在常量类里吗?不!我们应该遵循Google的开发...
2019-06-04 19:12:11
135
原创 Linux下如何查看版本信息， 包括位数、版本信息以及CPU内核信息、CPU具体型号
Linux下如何查看版本信息， 包括位数、版本信息以及CPU内核信息、CPU具体型号1.uname －a（Linux查看版本当前操作系统内核信息）2.cat /proc/version （Linux查看当前操作系统版本信息）3.cat /etc/issue或cat /etc/redhat-release（Linux查看版本当前操作系统发行版信息）4.cat /proc/cp...
2019-06-03 14:57:48
2697
原创 hive-列转行和行转列
http://blog.csdn.net/jthink_/article/details/388535731. 假设我们在hive中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:id name 1 a 2 b 3 c 4 d user_address;...
2019-05-23 22:18:13
88
原创 Hive Lateral View 和 explod
1、初理解Lateral Viewhttps://blog.csdn.net/zz657114506/article/details/539006572、复杂多重应用Lateral View 和 explodhttps://blog.csdn.net/guodong2k/article/details/79459282
2019-05-21 15:50:02
155
原创 hive编写udtf
之前说过HIVE，UDF(User-Defined-Function)函数的编写和使用，现在来看看UDTF的编写和使用。1. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。2. 编写自己需要的UDTF继承org.apache.hadoop.hive.q...
2019-05-21 15:44:10
155
原创 Azkaban使用流程
访问：公共组件的Azkaban目前部署在l-job1.ppt.cn2服务器上，可以直接通过http://l-azkaban1.ppt.cn2.qunar.com:8081/index来进行访问账号密码：账号和密码都为azkaban，之后可能接入LDAP创建工程：点击右上角的Create Project 并输入工程名和描述来创建工程，通常一个任务建一个project。...
2019-05-17 14:22:55
148
原创 Azkaban部署流程
安装前准备安装JDK1.8安装MySQL1.下载执行命令git clonehttps://github.com/azkaban/azkaban.git下载完成后可以看到有一个名为 azkaban 的文件夹，当前最新版本为3.48.02.编译cd 到 azkaban 目录下，执行如下命令生成一系列文件./gradlew distTar3.拷贝新...
2019-05-17 13:37:00
250
原创 聊聊flink的TimeCharacteristic
序本文主要研究一下flink的TimeCharacteristicTimeCharacteristicflink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/TimeCharacteristic.java/** * The time characteristic defines ho...
2019-04-28 15:49:12
1103
原创 ON DUPLICATE KEY UPDATE单个增加更新及批量增加更新的sql
本文为博主原创，转载请注明出处。 在实际应用中，经常碰到导入数据的功能，当导入的数据不存在时则进行添加，有修改时则进行更新，在刚碰到的时候，第一反应是将其实现分为两块，分别是判断增加，判断更新，后来发现在mysql中有ON DUPLICATE KEY UPDATE一步就可以完成，感觉实在是太方便了， 该语句是基于唯一索引或主键使用，比如一个字段a被加上了un...
2019-04-26 11:47:52
128
原创 《机器学习实战》书中python2.7与3.6的区别-持续更新
《机器学习实战》书中使用的是python2.7，而对于现在新接触python的同学来说都是上手python3.6版本。由于本渣渣也正在学习此书，将陆续列出遇到的不同于现实编码的困难与解决方法（如果能解决的话.......）。1.在import numpy时候，书中提倡from numpy import *而我们在学习python3.6时常用import numpy as np，于是在调用...
2019-04-24 16:56:07
472
原创 “花书” 《深度学习》经验法则--中文
下面是“花书”经验法则的翻译版正文。TL:DR 尽可能使用迁移学习。否则，对于已经是广泛研究的问题，先从复制网络结构开始。 网络结构应该总是由实验和验证误差来确定。 更深（层多），更浅（层少）的网络更难优化，但是更容易有更好的泛化误差。 一定要使用 early stopping（早停），两种方法： 在整个数据集上使用新的参数...
2019-04-24 15:28:41
497
原创 文件对比例句
对比两个文件相同列 的其他列数据不一致的输出 ，（订单号相同，）awk 'NR==FNR{a[$1]=$2;next;}{if($1 in a && $2!=a[$1]){print $1}}' tmp_20181025_hive tmp_20181025_mysqlawk 'NR=FNR{a[$1]=$2;next;}{if($1 in a){print $0}}' a...
2019-04-11 16:15:29
192
原创 待学习目录
1、python--dajor 框架开发 同步mysql工具文档：https://www.cnblogs.com/huangxiaoxue/tag/%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5/项目代码：https://github.com/hanson007/FirstBlood...
2019-04-10 17:51:45
116
原创 DOCKER安装以及使用
本文介绍docker安装过程中遇到的各种问题，以便后来者尽快解决docker介绍：[http://wiki.corp.qunar.com/pages/viewpage.action?pageId=136479630]1.docker安装如下： [lili.ai@l-qta13.h.beta.cn0 ~] sudo tee /etc/yum.repos.d/docker.repo ...
2019-04-04 18:59:03
650
原创 Sandbox HDP VMWare Downloads
下载 Sandbox 和 VMWare的地址：https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html
2019-04-02 09:16:26
1126
原创 Kibana查询说明
Kibana查询说明一天不进步，就是退步!elasticsearch构建在Lucene之上，过滤器语法和Lucene相同Kibana接口概述Kibana接口分为四个主要部分： 发现 可视化 仪表板 设置 我们将按照列出的顺序浏览每个部分的基础知识，并演示如何使用每个接口。Kibana探索当您第一次连接到Kibana 4时，您将进入发现...
2019-04-01 16:11:04
566
原创 hive 倒数到HBase
版本说明 版本 1 hadoop 2.x 2 hive 0.11 3 hbase 0.98.6 https://cwiki.apac...
2019-03-28 19:26:27
159
原创 hive导入数据到hbase
https://blog.csdn.net/qq_28725695/article/details/82189852
2019-03-28 19:25:04
373
原创 从0-1flink
购买教程网址：http://www.ipaa.cc/1058.html参考如下博客： https://www.jianshu.com/p/781c9d0f054dflink1.7中文文档地址： https://flink.sojb.cn/博客下方推荐的链接：1、《从0到1学习Flink》—— Apache Flink 介绍2、《从0到1学习Flink》—— Mac ...
2019-03-27 16:31:50
271
原创 改写启动脚本打印日志使用$(dirname $0) 提高脚本的可移植性
[zhikai.ye@l-data1.t.cn2 /home/q/traindev/azkaban-web-server/bin]$ cat start-web.sh#!/bin/bashbase_dir=$(dirname $0)/..export JAVA_HOME=/home/q/java/jdk1.8.0_91 && $base_dir/bin/azkaban-...
2019-03-25 17:14:23
431
转载 Azkaban三种模式部署
原文地址：https://blog.csdn.net/wangpei1949/article/details/79521722简介 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架。 如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(...
2019-03-25 11:26:09
861
原创 shell中IFS用法
一 IFS的介绍 Shell 脚本中有个变量叫IFS(Internal Field Seprator) ，内部域分隔符。完整定义是The shell uses the value stored in IFS, which is the space, tab, and newline characters by default, to delimit words for the read an...
2019-03-25 10:24:58
427
原创 hive函数小结
替换函数： 把某某某 比如 “ + a 都替换成空格可以使用以下两个函数：str_to_map(regexp_replace(params,'[\"|\{|\}]',''),'&',':') as params,select TRANSLATE(rcolumn, 'a"{}', 'a') from etl_train where dt='2019-02-02' li...
2019-03-14 21:01:28
211
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人