自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(251)
  • 资源 (241)
  • 收藏
  • 关注

原创 微信支付SDK wx-sdk 打包安装到本地maven仓库

官方SDK为3.0.9版本同样也是基于maven构建,只不过没有上传到maven的公共仓库,那么我们就可以自己动手打成jar包从而导入本地maven项目。1、下载官方sdk项目官方https://pay.weixin.qq.com/wiki/doc/api/jsapi.php?chapter=11_1修改配置文件WXPayConfig的抽象属性。原版的缺省(default)抽象属性只能在同一个package下可见,在不同package下面缺省属性是没有访问权限的,跨包必须改成公共publi.

2021-01-20 17:20:31 114

原创 2020-12-29——定时任务

1、/var/spool/cron/这个目录是以账号来区分每个用户自己的执行计zhi划ls /var/spool/cron/-rw-------. /var/spool/cron/root-rw-------. /var/spool/cron/user1-rw-------. /var/spool/cron/user22、查看定时任务crontab -l1 2 * * * sh /opt/xx/xx.sh3.服务重启3.1 /etc/init.d/crond rest...

2020-12-29 11:33:01 16

原创 hive 查询某个月天数,两个日期相差天数

select substring(时间,1,4) as 年,substring(时间,6,2) as 月份,COALESCE(CAST(sum(num1) as double),0) as num1,COALESCE(cast(SUM(NUM2) as double),0) as NUM2 ,cast((datediff(last_day(substring(时间,1,10)),trunc(substring(时间,1,10),'MM')) + 1) as double) as ts from 表 .

2020-10-29 15:38:13 646

原创 sql server 时间格式不同意处理yyyy_m转换成yyyy_mm

图中出现了两种时间格式yyyy_mm和yyyy_m,需要把yyyy_m时间格式转换成yyyy_mm;解决方案,通过用cas when和len函数处理。select case when len(time)=6 then REPLACE(CONVERT(varchar(10),time,120),N'-','-0') else time end as timefrom ...

2020-04-26 12:44:16 189

原创 columns has 234 elements while hbase.columns.mapping has 92 elements (counting the key if implicit))

我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试hive视图时,它会抛出以下异常,尤其是当列数超过数量时。我检查了hbase和hive中的#列相同。没有得到适当的解决方案来调试它columnshas234elementswhilehbase.columns.mappinghas92elements(countingthekey...

2020-04-05 19:22:44 545

原创 记录建hbase对应hive外表坑

建hbase对应hive外表时,把hbase对应字段写成小写时,hive外表用select count(*) fromhive外表名,统计有条数;但是用select * fromhive表时显示0记录;解决问题:建hbase对应hive外表时,把hbase的字段全改为大小,问题解决。...

2020-03-31 12:16:13 417

原创 hive 计算年龄

if(datediff(b.admission_time, CONCAT(substring(b.admission_time, 0, 4), substring(b.date_of_birth, 5, 7)))>= 0, (substring(b.admission_time, 0, 4) - substring(b.date_of_bir...

2020-03-14 21:28:10 1783

原创 mysql 备份与还原

1、新建shell脚本mysql_user="root" #MySQL备份用户mysql_password="密码" #MySQL备份用户的密码mysql_host="IP"mysql_port="3306"mysql_charset="utf8" #MySQL编码backup_db_arr=("test") #要备份的数据库名称,多个用空格分开隔开 如("db1" "db2" "...

2020-02-27 10:32:46 131

原创 为什么要学习软件架构设计原则

我们为什么要学习软件架构设计原则? 首先,我们要搞明白什么是软件架构设计原则?软件架构设计原则,一共有七个:1、开闭原则 开闭原则是指一个软件实体如类,模块和函数应该对扩展开放,对修改关闭。用抽象构建框架,用实现拓展细节。可以提高软件系统的可复用性及可维护性。开闭原则,是面向对象设计中最基础的设计原则。它指导我们如何建立稳定灵活的系统,如遇到产品迭代,需求变更的时候。在不...

2020-02-24 15:30:49 1439

转载 分布式任务调度平台XXL-JOB

一、分布式任务调度概述什么是任务调度平台任务调度是指基于给定的时间点,给定的时间间隔又或者给定执行次数自动的执行任务。我们可以思考一下在以下场景中,我们应该怎么实现: 支付系统每天凌晨 1 点,进行一天清算,每月 1 号进行上个月清算; 电商整点抢购,商品价格8点整开始优惠 12306 购票系统,超过 30 分钟没有成功支付订单的,进行回收处理 为什么需要任务...

2019-12-16 11:01:28 115

转载 你离可视化酷炫大屏只差一套 Kylin + Davinci

以下文章来源于apachekylin,作者高亚山、夏邢什么是KylinKylin 提供与 BI 工具的整合能力,如 Tableau,PowerBI/Excel,MSTR,QlikSense,Hue 和 SuperSet。但就可视化工具而言,Davinci 良好的交互性和个性化的可视化大屏展现效果,使其与 Kylin 的结合能让大部分用户有更好的可视化分析体验。什么是Davinci...

2019-12-05 09:10:56 410

原创 kylin汉字乱码问题

修改hive元数据字段类型:视图中有中文字符时,元数据中显示乱码,查询视图 数据为空 ,修改hive元数据的这两个字段的字符编码解决上述问题。ALTER TABLE TBLS CHANGE view_expanded_text MEDIUMTEXT CHARACTER SET UTF8ALTER TABLE TBLS MODIFY COLUMN VIEW_ORIGINAL_T...

2019-11-22 15:40:11 411

转载 【hive】String to Date 转化大全

Input column name: dt (String).Replace dt with your column name.Input Format Code Output Format ddMMyyyy to_date(from_unixtime(UNIX_TIMESTAMP(dt,’ddMMyyyy’))) yyyy-MM-dd dd-MM-yyyy ...

2019-10-30 18:13:55 6911

原创 DBeaver连接ClickHouse实操

DBeaver和ClickHouse已经安装好。DBeaver连接ClickHouse需要开放远程访问权限。先查看ClickHouse server端监听端口的状态:[root@cdh-node001 clickhouse-server]# lsof -i :8123COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE...

2019-10-22 16:11:43 2507

原创 从hive导入数据到clickhouse中

一、从hive中导出csv格式的数据:hive -e "select * from tablename limit 1000" | tr "\t" "," > /opt/hadoop/tablename.csv二、把csv格式的数据导入到clickhouse中:clickhouse-client -h 127.0.0.1 --query='INSERT INTO tablena...

2019-10-17 16:58:39 2621

原创 hive 两列字符串拼接成一列和空字符串处理

使用函数CONCAT(a,b)可以把两列字符串拼接空字符串处理:在mysql中,ifnull函数的用法,其表达式如下IFNULL(expr1,expr2) 如果 expr1 不是 NULL,IFNULL() 返回 expr1,否则它返回 expr2。IFNULL()返回一个数字或字符串值,取决于它被使用的上下文环境。然而,在hive写HQL的时候,ifnull函数...

2019-08-12 10:45:24 1857

原创 kylin中的sum统计结果为null处理

select SUM(***—_NUM) as num from ***_** WHERE ***_DATE = '2019-08-06 00:00:00.0' 在8月6号这天没有数据时kylin返回null前端页面执行报错返回null数组解决方案:select COALESCE(SUM(***—_NUM),0) as num from ***_** WHERE ***_D...

2019-08-07 08:44:00 875

原创 hive计算时间差

参考:https://blog.csdn.net/sinat_40431164/article/details/808139781、首先String to Date格式yyyy-MM-dd to_date(from_unixtime(UNIX_TIMESTAMP(dt,’yyyy-MM-dd’))) yyyy-MM-dd 2、再次使用函数datediff(...

2019-08-05 08:34:49 2134

原创 前端Table数据导出到Excel中

一、实现原理:1. 前端查询列表数据并渲染至table(<table>...</table>)表格2. 表格html代码传输至后台3. 后台把html转成Excel输出流返回前端4. 前端自动调用下载器完成下载注:因为渲染之后的hmtl代码数据量有可能很大,因此要使用POST方式的form表单方式提交。后台转换代码:必要的jar包,maven项目...

2019-07-31 15:52:17 202

原创 kylin计算两列时间相差天数

select TIMESTAMPDIFF(day,date'2012-01-01', date '2014-02-01')执行结果:*****_EXTERNAL两列时间ADMISSION_TIME和DISCHARGE_TIME 为varchar类型:查询*****_EXTERNAL表数据:select * from ***_EXTERNAL where VISIT_I...

2019-07-17 16:09:41 527

原创 kylin问题记录

1、kylin可以先全量cube再增量cube吗回答:不可以;要么全量,要么增量解决方案:建立两个mode,在增量mode中的Model Designer的最后一步Settings来添加分割时间列;再建立两个cube---一个相同的全量cube和一个相同的增量cube(有时间分割)我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试查询hive表...

2019-07-15 10:47:40 150

原创 hive按年月实现动态分区

set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict创建动态分区表:testtable1CREATE TABLE testtable1( id string, date string)partitioned by (month string)row...

2019-07-10 14:28:39 1604

原创 CDH安装kylin集群

参考:https://blog.csdn.net/eyeofeagle/article/details/88991967安装环境:cdh5.12.0kylin:apache-kylin-2.6.2-bin-cdh57.tar.gz下载:http://www-us.apache.org/dist/kylin/apache-kylin-2.6.2/1、安装kylin一、安装前准备...

2019-06-19 14:36:05 902

原创 superset嵌入到静态页面报错because it set 'X-Frame-Options' to 'sameorigin'

1、选择charts的url2、把url嵌入到静态页面<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <meta http-equiv="X-Frame-Options" content="deny"> <title></titl...

2019-06-06 15:01:40 2645 1

原创 kylin 日期函数处理

参考http://kylin.apache.org/cn/docs/tutorial/sql_reference.htmlCASTRANGE,INTERVAL关键字指明了范围。PRECEDING表示前几天(秒/分/时/月/年)。FOLLOWING表示后几天(秒/分/时/月/年)。例子:SELECT part_dt, lstg_format_name, SUM(price) ...

2019-06-05 16:05:57 3571

原创 Superset二次开发便宜前端代码遇到的问题

进入到superset/static/assets目录执行命令:[root@cdh-node01 assets]# npm install报错信息:安装的node版本node-v10.15.3-linux-x64.tar.xz解决方案降低node版本:安装node8版本curl --silent --location https://rpm.nodesource....

2019-05-28 18:54:47 1211

原创 Linux下安装Superset

1、安装python3Anaconda3-2019.03-Linux-x86_64.sh2、安装superset依赖包yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel3、在virtualenv环境下...

2019-05-13 15:41:33 2267

原创 spark sql 读取hbase中数据保存到hive

新建SaprkReadHbase类:package sparksqlimport java.util.Propertiesimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Resultimport org.apache.hadoop.hbase.io.Immut...

2019-04-25 11:28:36 1370 1

原创 转换为isoDate时间格式

import java.text.DateFormat;import java.text.SimpleDateFormat;import java.time.Instant;import java.util.Date;import java.util.TimeZone;/** * @Author yang * @Date: 2019/4/1 15:38 * @Version 1...

2019-04-02 16:04:31 12027

转载 Cloudera Manager API v18

介绍本文档描述了Cloudera Manager REST API。å所有请求和响应都以Javascript对象表示法(JSON)表示。下面列出的API资源遵循标准的createread-update - delete (CRUD)语义,其中HTTP请求路径定义要执行的实体,而HTTP方法表示要执行的操作类型。HTTP Method Operation POST Cre...

2019-03-28 09:44:59 430

原创 hbase shell命令进不去

hbase shell命令报错信息日志信息显示解决方案:根据参考改echo 0 > /proc/sys/vm/overcommit_memory:问题还是报错echo 1 > /proc/sys/vm/overcommit_memory:问题解决。参考:http://www.bubuko.com/infodetail-2...

2019-03-25 10:11:22 2773

原创 Hadoop在安装snappy过程中的问题

Linux2.6.32-504.el6 hadoop-2.7.3 jdk1.8.0_171问题:  测试机中已经有一套搭建好了的Hadoop集群,所以在往生产环境部署Hadoop集群时,直接将测试机中编译好的Hadoop版本上传到生产环境中即可,然后修改下配置文件集群就搭建成功了。但由于当时在搭建集群时没有考虑使用snappy来对文件压缩,所以在Hadoop的动态库中就没有Snappy的...

2019-03-13 15:08:32 222

原创 Unable to load native-hadoop library for your platform...

在执行hdfs命令时,会有一个警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable我们增加调试信息看问题出在了哪里。增加调试信息有两种方式,1、在执行命令前加一条如下命令...

2019-03-13 12:21:17 704

原创 sqoop 导oracle数据到hbase character string buffer too small

发现问题出在写的sql语句中的:to_char(dbms_lob.substr(A.OPSDESC,4000))原因分析在对CLOB进行的TO_CHAR处理,可以理解为将CLOB中存储的信息转换成varchar2,然后在进行展现,大家都知道对于varchar2来言,最多存储4000个字符,当超出4000字符时,就报错了。错误的大致意思就是超出了varchar2的缓冲大小。...

2019-03-08 16:43:48 234

原创 解决HBase Replication在数据大量写入时导致RegionServer崩溃问题

针对集群habse不能读写原因以及配置hbase昨天一直在进行拆分与合并,如果StoreFile文件数量超出hbase.hstore.blockingStoreFiles大小 ,导致hbase读写前必须先进行 split(或者compaction),阻塞memStore的数据flush到磁盘中,同时把该region添加到flushQueue,延时刷新(flush),这期间会阻塞写操作直到comp...

2019-03-08 14:17:52 439

转载 关于Hadoop数据块Miss在页面提示的问题

这个文档转至台湾的已了论坛,地址是:http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&amp;t=1938https://blog.csdn.net/dajuezhao/article/details/6319705請教一個hadoop運行維護中的問題:背景:調整hadoop配置:1. hadoop的dfs.replicatio...

2019-03-05 17:57:09 108

转载 分分钟解决HDFS无法启动的一个小问题------HDFS启动后一直处于安全状态

文章转自:原创:任航若泽大数据问题 :HDFS启动后一直处于安全状态解决过程:1.查看hadoop namenode的启动日志1STARTUP_MSG: Starting NameNode2STARTUP_MSG: host = hadoop001/192.168.137.1413STARTUP_MSG: args = []4STARTUP_MSG: v...

2019-03-04 10:56:16 2314 1

原创 生产HDFS Block损坏恢复最佳实践

1、上传文件hello.txt[root@cdh-node01 apps]# hdfs dfs -mkdir /blockrecover[root@cdh-node01 apps]# echo "hello word" &gt; hello.txt[root@cdh-node01 apps]# hdfs dfs -put hello.txt /blockrecover[root@c...

2019-03-04 10:55:19 1116

原创 hbase导入数据过多问题

17:54:10.768 [hconnection-0xfca67ce-shared--pool1-t1169] WARN o.a.hadoop.hbase.client.AsyncProcess - #149, table=CDR_QUALITY_ROWKEY, attempt=1/35 failed=1ops, last exception: org.apache.hadoop.hbase.D...

2019-03-01 11:36:44 1168

原创 Kafka使用Java客户端进行访问

本文环境如下: 操作系统:CentOS 6 64位 JDK版本:1.8.0_171 64位 Kafka版本:kafka_2.12-2.1.1 1. maven依赖包&lt;dependency&gt; &lt;groupId&gt;org.apache.kafka&lt;/groupId&gt; &lt;artifactId&gt;kafka_2.12&lt;/arti...

2019-02-25 16:30:22 1440

《微型计算机原理与汇编语言程序设计》电子教案(杨立)

本课程帮助学生掌握微型计算机的硬件组成及使用;学会运用汇编语言进行程序设计;树立起计算机体系结构的基本概念;为后继的软、硬件课程做好铺垫。

2009-02-25

Kafka技术内幕.pdf

Kafka技术内幕.pdf..

2018-12-29

实战Java虚拟机——JVM故障诊断与性能调优

随着越来越多的第三方语言(Groovy、Scala、JRuby 等)在 Java 虚拟机上运行,Java 也俨然成为了 一个充满活力的生态圈。本书将通过 200 余示例详细介绍 Java 虚拟机中的各种参数配置、故障排查、性 能监控以及性能优化。本书不仅适合 Java 程序员,还适合任何一名工作于 Java 虚拟机之上的研发人员、软件设计师、架构师。

2016-07-01

Apache Kafka实战.pdf

Apache Kafka实战.pdf..

2019-02-21

Visual Basic .NET网络程序设计——TCPIP与Internet Programming)

好好利用。慢慢学习:-O.....会有不错的收获哦。。。。

2009-02-26

【03 去哪儿网 徐骁】Flink 在去哪儿网的实践和应用

【03 去哪儿网 徐骁】Flink 在去哪儿网的实践和应用........

2019-01-28

软件技术基础教程(学习软件技术不错的教材)

第1章 基础知识 第2章 基本数据结构及其运算 第3章 查找与排序技术 第4章 数据管理技术 第5章 Windows程序设计 第6章 编译技术 第7章 应用软件设计与开发技术 想学习软件技术的学生可下载学习。

2009-02-27

计算机应用基础(等级考试版).rar

此课件包含第1章 计算机基础知识 第2章 Windows 2000操作系统 第3章 Word文档处理 第4章 Excel电子表格 第5章 PowerPoint基础 第6章 网络基础知识 第7章 多媒体技术 第8章 计算机安全 八章内容。有需要的可下载。

2009-02-26

基于.NET的电子商务网站的设计与实现

本资源包括一个基于.NET的团购网的源代码,数据库文件,标准格式的论文,开题报告,任务书,文献综述,翻译资料。开发工具主要采用VS2008+SQL Server 2008实现,是一个B/S结构的小型网站,功能有限,不过作为毕业设计完全够用。由于花了本人大量心血,故资源分有点高。

2011-12-16

Phoenix.pdf

Phoenix.pdf.

2018-12-26

基于 Impala 构建实时用户行为分析引擎.pdf

包含基于 Impala 构建实时用户行为分析引擎.pdf和.开源大数据分析引擎Impala实战.pdf两份

2018-12-26

CarbonData应用实践和未来规划.pdf

CarbonData应用实践和未来规划.pdf。

2018-12-26

基于CarbonData构建万亿级数据仓库.pdf

基于CarbonData构建万亿级数据仓库.pdf

2018-12-26

Hadoop_2.X_HDFS源码剖析.pdf

Hadoop_2.X_HDFS源码剖析.pdf.

2018-12-29

DataFun技术年货大数据篇.pdf

DataFun的这份干货里有不少2018年HBase MeetUp整理出来的文章~

2019-02-13

DataFun技术文章合集.pdf

NLP 、搜索 、广告、风控、 大数据等。

2019-02-20

DataFun技术年货搜索推荐篇

DataFun技术年货搜索推荐篇

2019-02-20

城市地理信息系统(GIS)

城市地理信息系统(GIS)

2011-12-24

博研图书管管理系统源码(ASP.NET)(功能齐全)

这个系统经过修改。并能用。有需要的可以下载。

2009-06-06

全栈性能测试宝典jmeter

全栈性能测试宝典jmeter全栈性能测试宝典jmeter全栈性能测试宝典jmeter全栈性能测试宝典jmeter

2017-10-15

kudu构建近实时分析系统.pdf

kudu构建近实时分析系统.pdf.

2018-12-26

flume-ng-sql-source-1.4.3.jar

flume-ng-sql-source-1.4.3.jar

2019-03-05

网上图书销售管理系统的开发与实现

网上图书销售管理系统的开发与实现

2011-12-19

GIS_地理信息系统国内外的发展情况

GIS_地理信息系统国内外的发展情况GIS_地理信息系统国内外的发展情况

2011-12-24

hue搭建收集的文档

hue搭建。。

2019-01-21

CarbonData_meetup_shenzhen_20181201_v1.1.2

CarbonData_meetup_shenzhen_20181201_v1.1.2。

2018-12-26

如何用Apache Kylin让Hive表查询提速千百倍

如何用Apache Kylin让Hive表查询提速千百倍如何用Apache Kylin让Hive表查询提速千百倍如何用Apache Kylin让Hive表查询提速千百倍

2018-07-02

J2ME实用教程(有需要的可下载)

第1章-J2ME简介 第2章-J2ME开发环境的安装及配置 第3章-开发MIDP程序 第4章-高级用户界面及事件处理 第5章-低级用户界面及事件处理 第6章-手机游戏项目开发介绍 第7章-手机游戏开发 第8章-游戏案例分析 第9章-数 据 存 储 第10章-无线网络开发第 11章-移动银行实例

2009-02-27

Spark2018eBook.pdf

Spark2018eBook.pdf

2019-03-06

入侵检测技术(普通高等教育“十一五”国家级规划教材)和答案

此压缩包包含入侵检测技术(普通高等教育“十一五”国家级规划教材)和答案两个压缩包。

2009-02-27

Google云计算系列课程(7个).rar

Module 1 - Introduction to Distributed Systems Teaching.ppt Module 2 - Student Background Knowledge.ppt Module 3 - Nutch.ppt Module 4 - MapReduce Theory andAlgorithms.ppt Module 5 - Hadoop Technical Review.ppt Module 6 - Distributed Filesystems.ppt Module 7 - Other Google Technologies.ppt

2009-06-12

决战Nginx: 系统卷 - 高性能Web服务器详解与运维

决战Nginx: 系统卷 - 高性能Web服务器详解与运维

2017-04-12

中小企业网络构建中小企业网络构建

中小企业网络构建中小企业网络构建中小企业网络构建

2009-07-02

收集的scala电子pdf版资料

scala。

2018-12-26

Spark Streaming Systems - Tyler Akidau

Spark Streaming Systems - Tyler Akidau..

2018-12-25

大数据十大经典算法SVM-讲解PPT

大数据十大经典算法SVM-讲解PPT大数据十大经典算法SVM-讲解PPT大数据十大经典算法SVM-讲解PPT大数据十大经典算法SVM-讲解PPT

2018-07-02

管理信息系统实用教程(普通高等教育“十一五”国家级规划教材)和习题

第一章管理信息系统概述 第二章管理信息系统开发综述 第三章系统规划与可行性分析 第四章系统需求建模 第五章 结构化系统分析 第六章面向对象的系统分析 第七章系统设计 第八章数据库设计 第九章系统实施与测试 第十章系统运行与维护 第十一章信息系统的管理 第十二章 课程设计实习 管理信息系统教学大纲.doc 管理信息系统试卷.doc 管理信息系统试卷答案.doc

2009-02-27

Learning Apache Flink

Learning Apache Flink..

2018-12-25

精通Visual C++ .NET 2003窗口程序设计

此压缩包包含Visual C++ .NET 2003窗口程序设计代码有需要的学生可下载使用。

2009-02-27

Oracle数据库基础教程

包含Oracle数据库基础1到12章内容,学习想Oracle数据库的学生可下载学习。

2009-02-27

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除