自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘寒的技术blog

            技术

  • 博客(56)
  • 资源 (22)
  • 收藏
  • 关注

原创 CDH6.3.2中安装kylin4

1、从kylin官网下载kylin4因为看到版本4使用spark构建crub存与parquet中,更快更省更先进,且官网写支持cdh6实际中kylin4要想跑起来还是很不顺利的过程中还试验了kylin3,效果更差,启动都不行2、选择1个kerberos认证过的用户,需要有hdfs权限?登录主机配置kylin的整个目录的own和group都是这个用户(chgown)配置kylin.propertes,修改其中mysql数据库的配置(前提是要安装好mysql,分配好库和用户权限等)

2022-04-02 17:20:25 2236

原创 spark比mapreduce快的原因

1、spark基于有向无环图DAG生成执行计划,他属于1个改进版的MapReduce,降低了很多不必要的shuffle次数,减少了节点之间的数据交换和磁盘IO,中间无需落盘。针对反复使用的数据可以进行内存cache提高加载使用效率2、spark基于内存,窄依赖任务的数据都在内存中进行交换3、spark任务启动时会把需要的内存一次性申请到位才真正运行,而mr是更细的粒度,每个子任务真正运行时才申请内存如果申请不到会等待,也会造成延时...

2021-12-30 16:54:41 909

原创 大数据学习之——hive小文件合并

学习原文:Hive优化之小文件合并_不积跬步无以至千里-CSDN博客_hive合并小文件解决方案:1. 在Map输入的时候, 把小文件合并.-- 每个Map最大输入大小,决定合并后的文件数set mapred.max.split.size=256000000;-- 一个节点上split的至少的大小 ,决定了多个data node上的文件是否需要合并set mapred.min.split.size.per.node=100000000;-- 一个交换机下split的至少的

2021-12-30 16:51:08 716

原创 大数据学习之——OLAP 核心知识

学习原文:每个大数据工程师都应该知道的OLAP 核心知识点_Storage谈存储行存传统ods中的B+树聚簇索引,page中包含排序好的行,因此一次查询多个以及更新列存读取需要的列、跳过无用数据、避免IO放大、存储紧凑、压缩友好简单类型:使用bitmap编码、字典编码等,付出一些cpu节省很多IO复杂类型:parquet算法(定义级别DL+重复级别RL)数值类型:bitshuffle转换现代OLAP多采用行列混存方案,采用DataBlock+Header/Foot

2021-12-30 16:38:40 421

原创 大数据学习之——实时数仓演进

学习的原文:Flink + TiDB,体验实时数仓之美实时数仓演进图:storm架构:spout负责数据传递,输出tuples元组,Bolt负责数据转换storm的不足:无法支持时间窗口lambda架构:batch layer:全量离线数据,输出batch viewreal time layer/speed layer: 实时增量数据,输出 realtime viewserving layer:将batch view和re...

2021-12-30 16:32:46 2053

原创 java单例模式-懒汉模式演进总结

本文是2018年写的,总结了市面上java单例模式之懒汉模式的所有写法。实际多线程场景中,前面的一些实现是存在问题的。public class SingleTon1 { private static SingleTon1 instance; public static SingleTon1 getInstance() { if (instance == null) { instance = new SingleTon1(); } .

2020-05-09 11:13:21 72

原创 postgresql数据库主从备份过程

天网线上pg数据库主从配置实践一、前期准备1.1主库准备:1.1.1 结构备份生成结构脚本,通过navicat客户端进行1.1.2 重要表数据备份重要表数据导出sql文件,通过navicat客户端进行1.2 从库准备:1.2.1 准备1个干净的pg库版本和主库保持一致或者把已有库删除重建。因之前已安装有pg,此次进行重新安装,步骤如下:#删除旧库yum erase postgresql-server# 删除旧库的数据文件...

2020-05-09 10:57:54 1210

原创 图片头部识别标志

/*** 图片头部识别标志*/image_jpg(ImageTypeEnum.jpg, "ffd8"),image_bmp(ImageTypeEnum.bmp, "424d"),image_tiff1(ImageTypeEnum.tiff, "4d4d"),//image_tiff2(ImageTypeEnum.tiff, "4949"),//image_png(Ima...

2019-08-22 09:08:20 718

原创 hbase自定义比较器的开发

hbase查询时内置功能较弱,如果需要自定义查询,则需要开发自定义的比较器。hbase自定义查询原理是将我们自定义的java比较器通过rpc方式传给hbase服务器来执行,所以涉及到比较器代码的序列化反序列化过程。hbase使用的是google的protocal buf这个工具。步骤如下:1 下载protocolbuffers windows版https://github.com/...

2018-09-28 09:51:32 426

原创 linux上安装postgresql数据库的步骤

本文章参考了:https://blog.csdn.net/zhangzeyuaaa/article/details/77941039\ 如果要安装v10,则如下:1 执行 yum install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-2.noarch....

2018-09-28 09:40:51 2188

原创 hbase在linux系统上伪分布式安装配置

1 修改hbase-site.xml文件:<property> <name>hbase.cluster.distributed</name> <value>true</value> </property><property> <name>hbase.rootdir<

2018-09-28 09:39:22 291

原创 hbase数据库使用

命令行输入 hbase shell 进入hbase创建表:create 'test', 'cf' --表示创建表test,字段族(column familly)cf插入数据:put 'test', 'row1', 'cf:a', 'value1'put 'test', 'row2', 'cf:b', 'value2'put 'test', 'row1', 'cf:b','a...

2018-09-28 09:37:53 609

原创 windows安装hbase步骤

1 下载hbase,需要注意对应的hadopp的版本,参照 http://hbase.apache.org/book.html#configuration查看适配性。如本初安装最高版本hbase-2.1.0,对应hadoop版本为2.7.7。2 解压hbase到本地硬盘,如E:\hbase-2.1.03 修改配置文件E:\hbase-2.1.0\conf下hbase-env.cmd...

2018-09-28 09:36:37 11937 7

原创 android第一天(小有成就,散分)

好帖子,转到这里记录下来。原文地址:http://topic.csdn.net/u/20101021/16/B605909C-56F8-41A0-B209-269FEDD51841.html作者:ptzxzc  1.将sdk复制到android-sdk-windows\platforms下.如果有网络的话就android-sdk-windows可以自动下,如果已经手动单独把sd...

2010-11-03 16:18:51 76

原创 近况

<br />我已经有差不多3年没更新csdn的博客了,原因是越来越懒了。<br />加之现在是个网站就有博客,是个网站都得注册,我有限的几篇文章也是这里放一点那里放一点,没有固定的根据地。<br /> <br />最近n多朋友加我qq咨询我webservice的事情,让我很为难,只因我2007年初写了一篇很简单很初级的axis和axis2的使用的比较文章。其实自从那以后,我再也没真正的接触过webservice。<br /> <br />虽然我后来参与IBM WebShpere Process Server

2010-08-04 15:19:00 575

原创 android 图片浏览 处理

1 图片太大,内存不足heap space 之类的问题:   BitmapFactory.Options options=new BitmapFactory.Options();   options.inSampleSize = 2;//数字越大读出的图片占用的heap越小   BitmapFactory.decodeFile(pathName,options);  2 图片放...

2009-12-31 09:22:03 69

adb push时提示 read only的问题

使用adb push命令将硬盘上的文件复制到虚拟设备上时,执行命令如下: C:\Documents and Settings\Administrator&gt;adb push G:\self\android\video\caiyan_two_people.mp4 sdcard\caiyan.mp4结果提示说:只读的文件系统failed to copy 'G:\self...

2009-12-24 16:37:58 506

原创 android 显示网络图片

http://hi.baidu.com/programmar/blog/item/79483ecb2ac75cf552664fd3.html 在Android中显示一张网络图片其实是超级简单的,下面就一个非常简单的例子: Step1:1、创建你的Activity,本例中以ViewWebImageActivity说明;2、ViewWebImageActivity中的代码...

2009-12-24 14:33:54 191

原创 android tabhost 图标

http://www.aslibra.com/blog/post/TabHost_addTab_TabSpec_change_icon.php 做了个tab形式的界面,但一直找不到系统提供的接口怎么修改图标,因为当前选择的和未选择的会改变。 添加tab的代码其实很简单         TabHost mTabHost = getTabHost();      ...

2009-12-23 16:38:20 233

原创 向sd写文件时权限

向sdcard目录写文件时,在1.6的固件上需要申请权限。在 AndroidManifest.xml 中增加代码: &lt;manifest xmlns:android="http://schemas.android.com/apk/res/android"      package="org.example.xxx"      android:versionCode="1"     ...

2009-12-21 16:05:58 102

原创 android 中 Inner class

android 中 Inner class 会额外占用1k的内存。故一般不用 Inner class

2009-12-20 11:50:35 169

原创 android 中 尺寸 设置

文本尺寸用 sp其他都用dip

2009-12-20 11:19:04 69

android 中package的名称

新建一个project的时候,输入package的名称,似乎有一些要求。比如昨天我建立一个project的package是 a.b.c,activity是Demo1那么今天我再建立一个project,activity是Demo2,那么package就不能还是 a.b.c 了。虽然我建立Demo2的时候不会提示,但是在测试安装Demo2这个应用的时候就会报错。  貌似andr...

2009-12-20 10:54:27 147

android中layout区别

从 Hello Android 2nd Edition中大概理解的: • FrameLayout:children按照从左上开始的顺序排列,主要用于tabed view或者图片切换功能 • LinearLayout:children排列成一行多列或者一列多行的形式,这种layout最常见 • RelativeLayout:children是相互之间相关位置或者和他们的par...

2009-12-20 10:28:17 77

Android 又学到了新东西

1 Handler类的post方法和postdelay方法 post(Runnable r)方法让r在稍后(其实就是立刻)执行。 postDelayed(Runnable r, long delayMillis)法让r在间隔几ms后执行。2 View类调用invalidate()后,它的ondraw方法会被频繁调用?...

2009-09-30 10:15:42 66

原创 在Eclipse中查看SDK源代码的方法

http://www.iteye.com/topic/4537951.下载http://www.digginmobile.com/android.asp上的源码 2.将那个源码文件解压,并在你的SDK安装目录里面新建一个文件夹,取名为“sources”,把之前解压得到的所有文件都复制到新建的“sources”文件夹里面。(D:\android-sdk-windows-1.5_r1\pl...

2009-09-28 10:59:08 106

原创 实战Intent使用,完成你的开发需求

http://blog.csdn.net/durone/archive/2009/01/19/3837207.aspx使用Intent快速进行功能开发,这里总结一些重要的Intent使用,仅供参考。下面是实例片段。 1,调用web浏览器Uri myBlogUri = Uri.parse(http://blog.csdn.);net/duronereturnIt = ne...

2009-09-27 15:34:31 60

原创 ADB

http://blog.csdn.net/durone/archive/2009/01/19/3835991.aspxadb常用命令:以下为一些常用的操作:1、安装应用到模拟器:adb install比较郁闷的是,Android并没有提供一个卸载应用的命令,只能自己手动删除:adb shellcd /data/apprm app.apk2、进入设备或模拟器的...

2009-09-27 15:13:04 44

移除Andorid程序

发现一个问题,自从第一个HelloWorld应用测试成功后,我再怎么测试其他的应用,模拟器启动后进入的还是第一个HelloWorld应用。我也不知道咋回事,只能按照常理想:把那个HelloWorld的删除了吧。怎么删除?上网搜了一下,步骤如下:(windows环境下)1 进入cmd命令行2 转入android的sdk目录下的tools目录3 输入adb shell ...

2009-09-27 15:03:48 43

Android开发HelloWorld时提示找不到虚拟设备的问题

一般windows中我的文档都在c盘的my document and setting/user/my documents 目录下。如果改动了,比如改为:d:\backup\my document目录下启动虚拟设备时会报错,信息如下:[2009-09-27 14:32:25 - Emulator]emulator: ERROR: unknown virtual device name: ...

2009-09-27 14:31:05 158

正式开始学习Android

Android刚出来时,也关注了一下,但是也就是关注了一下。这两天看到javaeye上的大牛讨论这些个app时别提多带劲儿了,就又勾引起我的兴趣了。于是赶紧下载安装要实验一番。一开始就很受伤!! :cry: :cry: :cry: 慢慢来,坚持就是胜利。。...

2009-09-27 13:55:49 51

原创 java date类型做加法发现的问题

oracle里面有个add_months函数可以对某个日期做加多少个月份的操作,对日期做加法更简单只需用+号就可以了。可是在java里面要实现日期加多少天,只能自己写个方法了。一种途径是:1 得到基准日期对应的毫秒数  a = date.getTime()2 得到要加的天数的毫秒数  b = n天*每天毫秒数(t=24*60*60*1000)3 c =  a+b,然后返回new D

2007-11-20 17:52:00 2503 1

java date类型做加法发现的问题

oracle里面有个add_months函数可以对某个日期做加多少个月份的操作,对日期做加法更简单只需用+号就可以了。可是在java里面要实现日期加多少天,只能自己写个方法了。一种途径是:1 得到基准日期对应的毫秒数 a = date.getTime()2 得到要加的天数的毫秒数 b = n天*每天毫秒数(t=24*60*60*1000)3 c = a+b,然后返回new Date...

2007-11-20 17:52:00 181

原创 奥运门票可以网上卖,火车票为什么不行

奥运门票可以网上卖,火车票为什么不行???奥运门票,为了让各个地方甚至全世界的人都能买,所以开通了多种购买方式。1 网上 ;2 电话 ;3 中国银行排队买火车票这 件更让人头疼,更困顿中国更多人民群众的问题为什么不能也采用类似的方式呢?1 网上;2 电话;3 火车站/售票点 排队 逢年过节的,火车票是多么困难啊。但是逢年过节想买火车票的人,我想每小时总不会超过800万人吧?

2007-11-02 12:34:00 1133 1

原创 acegi,里面到底是怎么走的?

很早就听说过acegi了,但是当初只是下载了,并且网上找了点资料稍微看了一下。因为没有用到,所以也没有实践。最近忽然要用到了,才发现acegi的配置可不像想像中的那么简单。在网上找10篇相关文章,其配置也会有10样,各个不同,让人无可奈何。至于acegi到底是干嘛的,它的一些最基础的介绍我这就不废话了。最近因为要配置acegi,所以没办法,只好按照一个参考并且分析了一下acegi的部分源代码,

2007-08-16 10:02:00 5657 3

acegi,里面到底是怎么走的?

很早就听说过acegi了,但是当初只是下载了,并且网上找了点资料稍微看了一下。因为没有用到,所以也没有实践。最近忽然要用到了,才发现acegi的配置可不像想像中的那么简单。在网上找10篇相关文章,其配置也会有10样,各个不同,让人无可奈何。至于acegi到底是干嘛的,它的一些最基础的介绍我这就不废话了。最近因为要配置acegi,所以没办法,只好按照一个参考并且分析了一下acegi的部分源代码,...

2007-08-16 10:02:00 65

原创 java中动态载入类、方法的几个玩意儿

1 最基本的就是jdk自带的java反射机制了 java reflect2  javassit  http://www-128.ibm.com/developerworks/cn/java/j-dyn0916/    Javassist 是广泛使用的 JBoss 应用服务器中加入的面向方面的编程功能的基础. Javassist 不仅是一个处理字节码的库,而且更因为它的另一项功能使得它成为试

2007-06-19 16:50:00 1062

java中动态载入类、方法的几个玩意儿

1 最基本的就是jdk自带的java反射机制了 java reflect2 javassit http://www-128.ibm.com/developerworks/cn/java/j-dyn0916/ Javassist 是广泛使用的 JBoss 应用服务器中加入的面向方面的编程功能的基础. Javassist 不仅是一个处理字节码的库,而且更因为它的另一项功能使得它成为试验 cla...

2007-06-19 16:50:00 43

原创 static,构造函数,子类,父类执行顺序

几天前去华为笔试,遇到了 static变量,构造函数以及父类、子类构造和static执行顺序的考题,结果就瞎蒙了,也不对。前几天想起来,就实际写了代码测试一下,结论如下: /**  1 每个类初始化时,会先初始化它的static再执行构造方法,    当static已经执行过后,该类的新的实例不会再执行static  2 该类如果继承了某个类则父类的static会先初始化。  3 某个

2007-06-12 20:28:00 2162

static,构造函数,子类,父类执行顺序

几天前去华为笔试,遇到了 static变量,构造函数以及父类、子类构造和static执行顺序的考题,结果就瞎蒙了,也不对。前几天想起来,就实际写了代码测试一下,结论如下:/** 1 每个类初始化时,会先初始化它的static再执行构造方法, 当static已经执行过后,该类的新的实例不会再执行static 2 该类如果继承了某个类则父类的static会先初始化。 3 某个类即便有sta...

2007-06-12 20:28:00 283

scala-intellij-bin-2018.3.1.zip

scala 开发包在 intelij idea 开发工具上的 插件

2021-02-04

kfw-4.0.1-amd64.msi

kerberos 的windows客户端安装文件,64位系统必备。从Mit.edu下载得来。kerberos 的windows客户端安装文件,64位系统必备。从Mit.edu下载得来。

2020-10-15

ClouderaHiveJDBC-2.6.11.1014.zip

hive jdbc驱动,包含jdbc3,jdbc41,jdbc42 三个版本的 包和文档,从cloudera官方下载得来

2020-10-15

ClouderaImpala_JDBC-2.6.18.1021

impala jdbc驱动,包含jdbc3,jdbc41,jdbc42 三个版本的 包和文档,从cloudera官方下载得来

2020-10-15

sbt-1.3.8.zip

SBT 是 Scala 的构建工具,全称是 Simple Build Tool, 类似 Maven 或 Gradle。 SBT 的野心很大,采用Scala编程语言本身编写配置文件,这使得它稍显另类,虽然增强了

2020-09-10

ProGuard_x64.exe

ProGuard 是一个免费的 Java类文件的压缩,优化,混肴器。它删除没有用的类,字段,方法与属性。使字节码最大程度地优化,使用简短且无意义的名字来重命名类、字段和方法

2020-09-10

RBTools-1.0.2.exe

RBTools是Reviewboard的客户端命令行工具。 主要有rbt命令行和python API客户端。 同时在contrib目录下,还有一些用户贡献的脚本和程序插件。

2020-09-10

maxwell-1.26.4.tar.gz

maxwell-1.26.4 版本。Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作为 JSON 的应用程序

2020-09-10

maxwell-1.22.1.tar.gz

maxwell-1.22.1 版本。Maxwell 是一个读取 MySQL binlogs 并将修改行字段的更新写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作为 JSON 的应用程序

2020-09-10

Oracle 10G SQL Reference.chm

Ora 10G SQL Reference.chm

2007-10-23

Oracle 10G Err_Msg.chm

Oracle 10G Err_Msg <br>可以根据oracle错误代码查询错误原因

2007-10-23

JNI完全手册.doc

JNI完全手册.doc

2007-10-23

JNI使用技巧.doc

JNI使用技巧.doc

2007-10-23

Hibernate in Action.pdf

Hibernate in Action.pdf

2007-10-23

SQLServer2K语言参考大全.chm

SQLServer2K语言参考大全.chm

2007-10-23

j2ee集群J2EEClustering.pdf

j2ee集群介绍 J2EEClustering.pdf

2007-10-23

MySQL中文参考手册.chm

MySQL中文参考手册.chm

2007-05-23

实用J2EE设计模式编程指南.pdf

实用J2EE设计模式编程指南.pdf

2007-05-23

Cascading Style Sheet 样式表中文手册.chm

Cascading Style Sheet 样式表中文手册.chm

2007-05-23

Ant使用指南.pdf

Ant使用指南介绍。pdf版本

2007-05-23

Java 虚拟机规范.pdf

Java 虚拟机规范

2007-05-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除