- 博客(43)
- 资源 (3)
- 收藏
- 关注
转载 鸡汤书单
信不信?读完这些书,你的眼界和眼光,立即赶超硕士博士 如果你想通过阅读提升自己的知识面,提高眼界,提升谈吐水平,甚至……比那些读了四年、七年大学和研究生的人,看问题时眼光更毒辣,下面这个书单就是为你准备的。 男生借助这个书单,可以变得更加成熟,更加有智慧; 女生借助这个书单,可以变得更加有气质,提升才气;
2016-11-13 15:50:08
632
转载 hadoop 四种压缩格式
1 gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个g
2016-10-08 09:55:35
1043
转载 mongodb的查询语句学习摘要
左边是mongodb查询语句,右边是sql语句。对照着用,挺方便。db.users.find() select * from usersdb.users.find({"age" : 27}) select * from users where age = 27db.users.find({"username" : "joe", "age" : 27}) select * f
2016-09-08 17:31:11
336
转载 Hadoop下将大量小文件生成一个sequenceFile文件
概念:SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件,它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中,map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成,供map调用的原始文件。1.
2016-09-08 11:56:27
4609
转载 Linux下设置MongoDB开机自启动
将MongoDB服务加入随机启动vi /etc/rc.local使用vi编辑器打开配置文件,并在其中加入下面一行代码/usr/local/mongodb/bin/mongod -dbpath=/usr/local/mongodb/data/db --fork --port 27017 --logpath=/usr/local/mongodb/log/work.log --l
2016-09-08 09:55:21
7886
原创 hadoop yarn配置错误修正
hadoop执行log查看IP错误 yarn.resourcemanager.address bigdata01:8032 yarn.resourcemanager.scheduler.address bigdata01:8030 yarn.resourcemanager.resource-tracker.add
2016-09-07 17:08:03
5514
1
转载 职场关注:挣百万年薪的15种能力
托尔斯泰有一句名言:“成功的人都是相似的,不成功的人,各有各的失败。”大凡成功人士身上都有独特的个人能力和人格魅力,这或许正是一般人所缺乏的,年薪百万的牛人所具备的能力可概括为以下15点。1、逆向思维能力面对工作中遇到的新问题,或许连上司也没有锦囊妙计。此时,牛人们擅长用逆向思维办法去探索解决问题的途径。他们清楚具体业务执行者比上司更容易找出问题的结点,是人为的,还是客观的;是技术
2016-09-07 16:30:06
282
转载 scala调用jdbc连接数据库
from:http://mkaz.com/solog/scala/using-scala-with-jdbc-to-connect-to-mysql.htmlUsing Scala with JDBC to connect to MySQLDate: May 27, 2011A howto on connecting Scala to a MySQL database us
2016-09-07 15:58:56
3516
转载 向CDH5集群中添加新的主机节点
向CDH5集群中添加新的主机节点步骤一:首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python.步骤二:上传cloudera-manager文件到/opt目录,修改agent配置文件: vi /opt/cm-5.0.0/etc/cloudera-s
2016-09-07 13:33:04
5758
转载 csdn如何转载别人的文章
转载地址:http://blog.csdn.net/jiangping_zhu/article/details/180441091、找到要转载的文章,用chrome浏览器打开,右键选择审查元素2、在chrome中下方的框里找到对应的内容,html脚本中找到对应的节点,选中节点,网页上被选中内容会被高亮显示,然后右键菜单选中 Copy as HTML3、进入个人”
2016-09-07 09:59:37
235
转载 linux下使用find xargs grep查找文件及文件内容
1,在某个路径下查文件。在/etc下查找“*.log”的文件find /etc -name “*.log”2,扩展,列出某个路径下所有文件,包括子目录。find /etc -name “*”3,在某个路径下查找所有包含“hello abcserver”字符串的文件。find /etc -name “*” | xargs grep “hello abc
2016-09-07 09:53:10
5470
转载 centOS 6.5关闭防火墙步骤
centOS 6.5关闭防火墙步骤关闭命令: service iptables stop 永久关闭防火墙:chkconfig iptables off两个命令同时运行,运行完成后查看防火墙关闭状态 service iptables status
2016-09-07 09:34:07
80979
2
转载 java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
使用flume的时候出现的问题。 sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样: a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/fl
2016-09-06 17:33:04
823
转载 Gerrit代码审核服务器搭建全过程
Gerrit代码审核服务器搭建全过程转载请标明出处:http://blog.csdn.net/ganshuyu/article/details/8978614环境:Ubuntu12.xx1、建立专有帐户 sudo adduser gerrit sudo passwd gerrit su gerrit2、配置Jav
2016-09-06 17:02:48
1054
转载 整合Kafka到Spark Streaming——代码示例和挑战
作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版
2016-09-02 17:36:32
802
转载 打开MySQL数据库远程访问的权限
在我们使用mysql数据库时,有时我们的程序与数据库不在同一机器上,这时我们需要远程访问数据库。缺省状态下,mysql的用户没有远程访问的权限。下面介绍两种方法,解决这一问题。1、改表法 可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的那台电脑,登入mysql后,更改 "mysql" 数据库里的 "user" 表里的 "host" 项,从
2016-09-02 17:20:25
246
转载 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用 Eclipse,我们可以直接对 HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。本教程由厦门大学数据库实验室出品,转载请注明。
2016-09-02 16:44:45
444
转载 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hado
2016-09-02 16:42:40
296
转载 RocketMQ与Kafka对比(18项差异)
转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,
2016-09-02 10:49:23
246
转载 分布式消息队列RocketMQ部署与监控
==========================================================================================一、RocketMQ简介==========================================================================================
2016-09-02 10:47:07
1474
转载 Hive的内置服务和hiveserver/hiveserver2的比较
版权声明:[+]一:Hive的几种内置服务 执行bin/hive --service help 如下: [html] view plain copy [master@master1 hive]$ bin/hive --service help ls: 无法访问/opt/spar
2016-09-01 16:55:27
2522
转载 TFS文件系统
TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据的存储;TFS使用C++语言开发,需要运行在64bit Linux OS上,TFS为淘宝提供海量小文件存储,通常文件大小不超过1M,满足了淘宝对小文件存储的需求,被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容,保证了整个文件系统的可用性和扩展性。
2016-09-01 16:47:05
5036
转载 使用keepalived实现双机热备
通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。下面来以keepalived结合tomcat来实现一个web服务器的双机热备。keepalived的工作原理是VRRP(Virtual Router Redundancy Protocol)虚拟路由冗余协议。在VRRP中有
2016-09-01 16:45:23
898
1
转载 淘宝TFS文件系统配置(集群)
对于拥有大量图片和小文件的站点,如电子商务网站,用tfs是非常理想的,淘宝就是NB. 四台服务器,系统都为Centos 5.6 一、基础环境的设置(只需在dataserver两台服务器上配置)1.加载ext4模块,让系统支持ext4文件系统modprobe ext42.安装ext4格式工具yum –y install e4fsprogs e
2016-09-01 16:43:27
5808
转载 oracle窗口函数的使用
窗口函数可以计算一定 记录范围内、一定值域内、或者一段时间内的累计和以及移动平均值等等.之所以使用窗口这个术语,是因为对结果的处理使用了一个滑动的查询结果集范围。窗口可以与下面这些函数结合使用:sum(),avg(),max(),min(),count(),variance()和stddev();窗口也可以和first_value()与last_value()结合使用,这时候返回窗口中的第一个
2016-09-01 16:36:50
773
转载 TFS的原理及应用
最近的一个项目由于原先的nas服务停了,所以没有办法,只能迁移到TFS上。这本来是一个内部的分享的。TFS本身也是开源了,所以就拿出来分享一下吧。这里大部分内容出自TFS的开源网站及内部的wiki,下面是TFS的项目TFS开源项目:http://code.taobao.org/p/tfs/wiki/index/TFS是taobao filesystem的简称,是一个分布式的文件系统
2016-09-01 16:34:51
3380
转载 Jersey框架初体验
一、背景 最近,Jersey学习群组的朋友越来越多,很多朋友问一些非常基础的问题,我看这种现象普遍存在,原因是进入群中的同学们大部分是Jersey的初学者,更有甚者,可能是java的初学者,他们带着对REST webservice的好奇,闯入了Jersey这个框架的学习领域,然而,由于是新手,感觉老虎吃天,无法下爪!为了引导新手们学习,后续我将写几篇关于Jersey入门级的博客,敬请大家期
2016-09-01 16:13:33
448
转载 【Flume】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下:a1.sinks.k1.type=hdfsa1.sinks.k1.channel=c1a1.sinks.k1.hdfs.useLocalTimeStamp=truea1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%
2016-09-01 15:14:10
3057
转载 CentOS7.2.1511 gcc4.8.5 通过编译的 tfs2.2.16
环境信息:Docker version 1.8.2-fc22, build cb216be/1.8.2Fedora release 22 (Twenty Two)Linux localhost.localdomain 4.0.4-301.fc22.x86_64 #1 SMP Thu May 21 13:10:33 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux
2016-09-01 11:48:11
1401
转载 TFS部署:create_block allocate space error. ret: -1, error: 28, error desc: No space left on device
在CentOS 6.5 下安装完TFS部署的过程中,执行“./scripts/stfs format 1”命令时,出现错误:ERROR create_block (blockfile_manager.cpp:1315) [140688549848864] allocate space error. ret: -1, error: 28, error desc: No space left
2016-09-01 11:36:42
675
原创 淘宝TFS安装
系统版本CentOS6.5 64位操作系统1,依赖包yum install -y readline-devel.x86_64 zlib-devel.x86_64 libuuid-devel mysql-devel e2fsprogs-devel libuuid-devel ncurses-devel uuid-devel gcc-c++ libtool2,tc
2016-09-01 11:17:59
294
转载 怎么解决mysql不允许远程连接的错误
最近使用Navicat for MySQl访问远程mysql数据库,出现报错,显示“1130 - Host'xxx.xxx.xxx.xxx' is not allowed to connect to this MySQL server“。解决办法如下:方法/步骤首先看报错窗口。
2016-09-01 11:03:52
687
转载 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
解决办法 vi /etc/my.cnf 把 [mysqld_safe] err-log=/var/log/mysqld.log pid-file=/var/lib/run/mysql/mysqld.pid 改成 [mysqld_safe] err-log=/var/log/mysqld.log pid-file=/var/lib/mysql/mysqld.pid
2016-09-01 10:46:36
7653
转载 ubuntu install gcc 4.1.2
1. 下载&解压源码$ wget http://ftp.gnu.org/gnu/gcc/gcc-4.1.2/gcc-4.1.2.tar.bz2$ tar xvjf gcc-4.1.2.tar.bz22. 安装依赖库, 以及软件$ sudo apt-get install libc6-dev libgmp-dev libmpfr-dev texinfo
2016-08-26 15:53:11
632
转载 ubuntu apt-get用法
如何在ubuntu下面直接查找想要安装的软件?比如我想安装tomcat,但是我又不知道ubuntu里面有哪些版本,也不知道都需要装什么,但是我能确认我装的是tomcat,那么我就可以用搜索命令:例如:apt-cache search tomcat,这样我就会得到以下的结果:libtomcat5-java - Java Servlet engine -- core librariesto
2016-08-26 11:37:43
224
转载 Ubuntu系统中安装RPM格式包的方法
Ubuntu的软件包格式为deb,而RPM格式的包则是Red Hat 相关系统所用的软件包。当我们看到一个想用的软件包时,如果他是RPM格式,而你的操作系统是Ubuntu,那岂不是很遗憾?其实,在Ubuntu系统中通过一定的方法也是可以很有效的安装RPM格式包的,本文就针对此加以介绍:首先,我们要安装alien这一软件:$sudo apt-get install alien
2016-08-26 09:48:40
333
转载 Cygwin运行nutch报错:Failed to set permissions of path
错误信息:Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\官方BUG参考:https://issues.apache.org/jira/browse/HADOOP-7682
2015-06-25 16:34:34
396
转载 Spark快速入门指南
Spark快速入门指南(Quick Start Spark)最近打算学习spark,正好看到这篇文档,记录下来,这个文档只是简单的介绍如何快速地使用Spark。在下面的介绍中我将介绍如何通过Spark的交互式shell来使用API。转自过往记忆(http://www.iteblog.com/)Basics Spark shell提供一种简单的方式来学习它的AP
2015-06-11 14:04:04
1495
转载 solr MoreLikeThis的原理分析
在solr中有两种方式实现MoreLikeThis:MoreLikeThisHandler和在SearchHandler中的MoreLikeThisComponent。两种方式大同小异:一是:将MoreLikeThis作为一个单独的Handler来处理,体现主体地位。二是:将MoreLikeThis作为一个组件放到SearchHandler中,为Search加入了MLT的功
2015-06-10 17:36:01
685
EPLAN Electric P8 Reference Handbook 第三版_EN
2016-12-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人