- 博客(66)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 成功利用openstack+kvm+hyper-v进行搭建小型私有云的详细过程
最近我经过一个多月的努力终于成功搭建了一个基于openstack的小型私有云。其中用到了：openstackkvmhyper-vcloudbase相关工具相关的文档有这些：1）部署架构：小型私有云搭建方案.pptx2）安装配置：openstack_kvm_hyperv.txt3）用户使用：Openstack用户使用手册.docx如果有疑问，可以发邮件给我，我尽量...
2020-02-14 11:36:58
1614
原创 The server time zone value 'unknown' is unrecognized or represents more than one time zone
在连接字符串增加serverTimezone定义就可以了。spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?Unicode=true&characterEncoding=UTF-8&serverTimezone=GMT%2b8
2020-02-19 10:39:19
477
原创 关于延迟队列实现（delay queue）
首先经常有人问，KAFKA有实现消息队列延迟消费的功能吗？答案是否定的。但是，我们可以通过一些方法变通一下，也是可以实现延迟消费。第一种：如果你消费时间不是太复杂，甚至是固定的，那么你可以在producer端根据不同的延迟消费逻辑把不同的消息放到对应的topic里面，然后consumer就可以不顾producer端，直接根据不同的延迟逻辑去消费对应的topic。第二种：由于消息...
2020-02-14 10:14:21
1273
原创 如何屏蔽键盘按键或者更改键盘按键
举例说明：空格键坏了，不断自动点击：解决方法：1）使用REMAPKEY:tab键改为空格键空格键改为NUMLOCK键2）使用sharpkeys39 （其实全部都能用他设置，只是REMAPKEY更加直观，可惜remapkey没有屏蔽按键的功能。）然后把NUMLOCK键屏蔽（避免还是不断点击）记得需要使用管理员模式打开。推荐下载：RemapKey ...
2020-02-13 18:19:01
6183
1
原创 安装OpenStack Hyper-V Compute报错There is a problem with this Windows Installer package.
在WIN2012R2中文版上面安装OpenStack Hyper-V Compute死活报错 “There is a problem with this Windows Installer package. A script required for this install to complete could not be run. Contact your support pers...
2019-12-11 14:22:26
502
原创 SPARK & HIVE现在ACID的支持现状
在讨论之前，先介绍ACID是什么。原子性（Atomicity）原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。一致性（Consistency）事务前后数据的完整性必须保持一致。隔离性（Isolation）事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。持久性（...
2019-11-12 15:22:46
1339
原创 解决k8s(kubernetes)无法删除fail pod(status unknown)
当有节点挂了之后，导致容器无法删除；即使显示删除成功，但还是可以在dashboard里面看到fail pod的信息经过科技上网，遍寻国内外之后，终于找到解决方法，吾不敢独享，所以各位看官请看：首先强力删除:kubectl delete pod podname-5c8844476b-4qtx6 -n wx --grace-period=0 --force然后更新容器的元数据：原来...
2019-03-26 16:41:50
3637
转载 详解HDFS Short Circuit Local Reads
详解HDFS Short Circuit Local ReadsHadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。最初设计的时候，这种Local Reads和Remot
2016-08-11 11:14:19
429
转载 Kerberos and SPNEGO
Kerberos and SPNEGOThursday, 23 September 2010 19:03Kerberos is a network authentication protocol for client/server applications, and SPNEGO provides a mechanism for extending Kerberos to
2016-07-15 11:46:22
925
转载 Hadoop2.0的HA介绍
Hadoop2.0的HA介绍时间 2014-05-03 17:42:25Linux公社原文 http://www.linuxidc.com/Linux/2014-05/101174.htm主题HadoopNFS前一篇文章介绍了Hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0）的安装和最基本的配置
2016-07-14 16:55:00
450
转载 修改hadoop的备份系数dfs.replication
Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。本文就讨论一下这个问题。Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.如何变更备份系数?首先stop-all.sh停止节点，修改master节
2016-06-27 09:42:48
2563
转载 linux查看文件和文件夹大小
当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选择。 df可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件却无能为力。 du可以查看文件及文件夹的大小。 两者配合使用，非常有效。比如用df查看哪个一级目录过大，然后用df查看文件夹或文件的大小，如此便可迅速确定症结。 下面分别简要介绍 df命令可以显
2016-06-27 09:20:38
337
转载 理解postgresql数据表与其对应的数据文件关系
方法一：通过查找表数据文件方式 这种方法通过查找表的数据文件的方式从而确定表的创建时间，但是这种方法并不能准备查询表的创建时间，而且有时候，这种方法得到的信息还有可能是错误的，下面大致演示下。--1.1 创建表并插入数据 francs=> create table test_ctime (id int4 primary key ,name varc
2016-06-26 10:23:22
2321
原创 接口与抽象类的理解日志
我自己的理解是：接口： 如果你想定义一组方法，而这些方法你需要每个调用他们时都要全部统一实现，这样就需要用接口。每个实现这个接口的，都需要实现该接口定义好的所有方法，哪怕实现其中某个方法时，里面留空，也要实现它。这样对外就可以说，我们实现了一致性原则。抽象类： 如果你想代码容易管理，不会经常出现处于同一个框架内，实现同一种功能，却出现有N个不同的方法名称（比如甲自己写了一个
2016-05-24 20:23:57
667
原创 impala+hue
下载impala 和 huehttp://www.cloudera.com/documentation/enterprise/latest/topics/cdh_vd_cdh_package_tarball.htmlhttps://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.5.0/RPMS/x86_64/impala i
2016-02-23 00:43:09
2904
原创 说说我对spark-sql的job的参数调优
首先要说的是机器配置namenode/datanode: cpu : 8core memory: 56G我现在是基于yarn+spark的架构来说。现在设置 yarn.nodemanager.resource.memory-mb =51200 (50GB) --每个node可以最多使用50GB作为 container 的分配yarn.scheduler.minimum
2016-02-19 20:57:26
2637
原创 性能测试 hive Use ANALYZE table columns
测试记录数： 346804534 数据大小：20GBselect eventchannel from event8 where pdate = '2015-09-01' and lower(eventchannel) rlike 'window' and eventsourcemachine rlike 'changhong' group by eventchannel having
2015-09-14 10:00:24
2083
转载 恢复window远程复制功能
在日常操作Windows服务器的时候，会经常用到远程桌面的复制、粘贴功能，但是有时候还是无法Windows服务器上复制内容到本地，也无法从本地复制内容到远程桌面连接的Windows服务器。 根据微软的说明，远端服务器复制内容到远端电脑，由“rdpclip.exe”进程来控制，如果远程Windows服务器打开任务管理器看到有rdpclip.exe进程存在，即可进行双向复制，但是有时候又无效
2015-04-27 10:12:52
789
原创 hadoop2.6安装篇(hadoop平台搭建)
上篇已经介绍完CentOS7的安装。现在来说说hadoop的安装.上 hadoop.apache.org 下载2.6的版本。>wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz>tar xzvf hadoop-2.6.0.tar.gz>mv hadoop-2.6.0 /usr/loc
2015-04-22 11:10:26
672
原创 CentOS7安装篇(hadoop平台搭建)
为了更好学习大数据，需要搭建一个学习的环境。有误的地方希望大家共同指教。首先介绍下我的硬件：2台pc机， 酷睿i7 ，16G 内存， 2T 硬盘===============================================================================安装虚拟机VMware 10.0在VMware上安装系统 CentOS7
2015-04-20 16:26:59
1162
转载 hadoop mapreduce 对于压缩文件的支持利与弊
hadoop对于压缩文件的支持hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表： 压缩格式 工具
2015-03-20 22:55:31
1604
转载 新旧版本FileInputFormat获得输入分片的不同
有接触过hadoop的都应该清楚InputFormat 里有个getSplits方法，用来获得输入分片，并最终影响map task的数量。网上关于split的描述千奇百怪，各家说法都不一样，前几天一个老师跟我讲的FileInputFormat的 split的概念和我脑子里一直记得的split的概念不一样，着实让我困扰，甚至开始怀疑人生了。。。今天把新旧版本的FileInputFormat的
2015-03-20 21:23:49
903
转载 MapReduce应用中CombineFileInputFormat原理与用法
MapReduce应用中CombineFileInputFormat原理与用法HDFS本身被设计来存储大文件，但是有时难免会有小文件出现，有时很可能时大量的小文件。通过MapReduce处理大量小文件时会遇到些问题。MapReduce程序会将输入的文件进行分片(Split)，每个分片对应一个map任务，而默认一个文件至少有一个分片，一个分片也只属于一个文件。这样大量的小文件会导致大
2015-03-20 10:37:00
1215
转载 Hive tips optimil query on maper and reducer
hive优化之------控制hive任务中的map数和reduce数一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自
2015-03-16 14:40:11
557
转载 简单说说MapReduce, Tez, Spark
云码最近邀请来yunmar老师来做培训，其浮夸的授课方式略接受不了。其强烈推崇Spark技术，宣称Spark是大数据的未来，同时宣布了Hadoop的死刑。那么与Hadoop相比，Spark技术如何？现工业界大数据技术都在使用何种技术？我本人是类似Hive平台的系统工程师，我对MapReduce的熟悉程度是一般，它是我的底层框架。我隔壁组在实验Spark，想将一部分计算迁移到Spark上
2015-01-25 09:09:01
6727
转载 写好Hive 程序的五个提示
使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右的位置；尽量使用UDF而不是transfrom……诸如此类。下面讨论5个性能和逻辑相关
2014-11-24 15:15:31
657
转载 Hive 优化
Hive 针对不同的查询进行了优化，优化可以通过配置进行控制，本文将介绍部分优化的策略以及优化控制选项。列裁剪（Column Pruning）在读数据的时候，只读取查询中需要用到的列，而忽略其他列。例如，对于查询： SELECT a,b FROM T WHERE e < 10;其中，T 包含 5 个列 (a,b,c,d,e)，列 c，d 将会被忽略，只会读取a, b, e 列
2014-11-24 15:07:33
511
转载 Could not load file or assembly ‘Microsoft.VisualStudio.Tools.Applications.Core’
I was migrating SSIS packages from a SQL Server 2008 R2 server to a new SQL Server 2012.When I loaded a package in the SQL Server Data Tools, I got the following error:I was only getti
2014-11-12 10:28:18
2541
转载 hive调优 数据倾斜问题
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时
2014-11-07 14:12:19
814
原创 office outlook 2010 cannot open your default e-mail folders 的解决方法
参考http://office.microsoft.com/zh-cn/outlook-help/HP001230477.aspx删除 Outlook 电子邮件配置文件电子邮件配置文件由电子邮件帐户、数据文件以及有关电子邮件存储位置的信息组成。如果您不熟悉电子邮件配置文件，请参阅 Outlook 电子邮件配置文件概述。在 Microsof
2014-11-04 09:47:07
3740
转载 Azure storage blob rename by SDK development
Since rename is not natively supported operation, you're on the right track with "Copy" and "Delete". However one thing you should keep in mind is that the "Copy" operation is an asynchronous operatio
2014-10-30 13:15:09
863
转载 Hive UDAF开发
Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable;
2014-08-18 12:44:26
690
转载 Hive UDF开发
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：package com.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public cl
2014-08-18 12:43:39
772
原创 linux类系统访问windwos共享文件
linux系统使用以下命令，将共享文件夹挂载。mount -t cifs //192.168.1.102/studyshare /mnt -o username=chocolee
2014-06-17 09:18:05
1036
原创 CentOS安装java and javac(java运行环境和开发环境)
[root@localhost usr]# yum install javaLoaded plugins: fastestmirror, refresh-packagekit, securityRepository base is listed more than once in the configurationRepository updates is listed more th
2014-06-17 08:43:56
4310
转载 安装linux系统的两大神器yum and apt-get
yum和apt-get的区别一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 RedHat 系列 1 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数” 2 包管理工具 yum 3 支持tar包
2014-06-17 08:02:28
841
转载 freeBSD挂载windows共享文件夹
不用安装任何其他软件。直接用命令 mount_smbfs -I windowsip //usename@computername/共享文件夹 /mnt其中 -I 后边跟着windows主机的ip地址，username是具有访问共享资源权限的用户，一般为administrator，computername为windows计算机名,替换为你的实际参数即可。挂载后就像你自己文件夹一
2014-06-16 15:10:08
2050
转载 Linux和FreeBSD在使用非系统自带的gcc时的区别
下面拿CentOS 5和FreeBSD 9.0做下比较： CentOS 5 自带的gcc是gcc (GCC) 4.1.2，通过yum可以安装gcc44 (GCC) 4.4.4 FreeBSD 9.0 自带的gcc是gcc (GCC) 4.2.1，通过ports可以安装gcc 4.6 (目前是4.6.2） 我们用C++写一个非常简单的C++程序： int main()
2014-06-16 14:20:54
2086
原创 Freebsd make install clean checksum error
在使用ports tree安装软件时候，如果遇到checksum
2014-06-16 14:15:58
954
原创 FreeBSD error when installation on ports
/usr/ports/Mk/bsd.sites.mk/usr/ports/Mk/bsd.port.mk", line 1747: Malformed conditionalShow error lo
2014-06-15 05:53:14
720
Openstack用户使用手册.docx
2020-02-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人