关闭

鸡汤书单

信不信?读完这些书,你的眼界和眼光,立即赶超硕士博士     如果你想通过阅读提升自己的知识面,提高眼界,提升谈吐水平,甚至……比那些读了四年、七年大学和研究生的人,看问题时眼光更毒辣,下面这个书单就是为你准备的。   男生借助这个书单,可以变得更加成熟,更加有智慧;   女生借助这个书单,可以变得更加有气质,提升才气;   ...
阅读(203) 评论(0)

hadoop 四种压缩格式

1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。 缺点:不支持split。 应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个g...
阅读(277) 评论(0)

mongodb的查询语句学习摘要

左边是mongodb查询语句,右边是sql语句。对照着用,挺方便。 db.users.find() select * from users db.users.find({"age" : 27}) select * from users where age = 27 db.users.find({"username" : "joe", "age" : 27}) select * f...
阅读(125) 评论(0)

Hadoop下将大量小文件生成一个sequenceFile文件

概念:SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件,它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中,map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成,供map调用的原始文件。 1....
阅读(1050) 评论(0)

Linux下设置MongoDB开机自启动

将MongoDB服务加入随机启动 vi /etc/rc.local 使用vi编辑器打开配置文件,并在其中加入下面一行代码 /usr/local/mongodb/bin/mongod -dbpath=/usr/local/mongodb/data/db --fork --port 27017 --logpath=/usr/local/mongodb/log/work.log --l...
阅读(2136) 评论(0)

hadoop yarn配置错误修正

hadoop执行log查看IP错误 yarn.resourcemanager.address bigdata01:8032 yarn.resourcemanager.scheduler.address bigdata01:8030 yarn.resourcemanager.resource-tracker.add...
阅读(1543) 评论(0)

职场关注:挣百万年薪的15种能力

托尔斯泰有一句名言:“成功的人都是相似的,不成功的人,各有各的失败。”大凡成功人士身上都有独特的个人能力和人格魅力,这或许正是一般人所缺乏的,年薪百万的牛人所具备的能力可概括为以下15点。 1、逆向思维能力 面对工作中遇到的新问题,或许连上司也没有锦囊妙计。此时,牛人们擅长用逆向思维办法去探索解决问题的途径。他们清楚具体业务执行者比上司更容易找出问题的结点,是人为的,还是客观的;是技术...
阅读(84) 评论(0)

scala调用jdbc连接数据库

from:http://mkaz.com/solog/scala/using-scala-with-jdbc-to-connect-to-mysql.html Using Scala with JDBC to connect to MySQL Date: May 27, 2011 A howto on connecting Scala to a MySQL database us...
阅读(587) 评论(0)

向CDH5集群中添加新的主机节点

向CDH5集群中添加新的主机节点 步骤一:首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 步骤二:上传cloudera-manager文件到/opt目录,修改agent配置文件:          vi /opt/cm-5.0.0/etc/cloudera-s...
阅读(1621) 评论(0)

csdn如何转载别人的文章

转载地址:http://blog.csdn.net/jiangping_zhu/article/details/18044109 1、找到要转载的文章,用chrome浏览器打开,右键选择审查元素 2、在chrome中下方的框里找到对应的内容,html脚本中找到对应的节点,选中节点,网页上被选中内容会被高亮显示,然后右键菜单选中 Copy as HTML 3、进入个人”...
阅读(109) 评论(0)

linux下使用find xargs grep查找文件及文件内容

1,在某个路径下查文件。 在/etc下查找“*.log”的文件 find /etc -name “*.log” 2,扩展,列出某个路径下所有文件,包括子目录。 find /etc -name “*” 3,在某个路径下查找所有包含“hello abcserver”字符串的文件。 find /etc -name “*” | xargs grep “hello abc...
阅读(807) 评论(0)

centOS 6.5关闭防火墙步骤

centOS 6.5关闭防火墙步骤 关闭命令:  service iptables stop          永久关闭防火墙:chkconfig iptables off 两个命令同时运行,运行完成后查看防火墙关闭状态          service iptables status...
阅读(33950) 评论(0)

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

使用flume的时候出现的问题。  sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样:  a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/fl...
阅读(216) 评论(0)

Gerrit代码审核服务器搭建全过程

Gerrit代码审核服务器搭建全过程 转载请标明出处:http://blog.csdn.net/ganshuyu/article/details/8978614 环境:Ubuntu12.xx 1、建立专有帐户       sudo adduser gerrit       sudo passwd gerrit       su gerrit 2、配置Jav...
阅读(552) 评论(0)

整合Kafka到Spark Streaming——代码示例和挑战

作者Michael G. Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间, Michael还提到了将Kafka整合到 Spark Streaming中的一些现状,非常值得阅读,虽然有一些信息在Spark 1.2版...
阅读(450) 评论(0)
43条 共3页1 2 3 下一页 尾页
    个人资料
    • 访问:54398次
    • 积分:402
    • 等级:
    • 排名:千里之外
    • 原创:4篇
    • 转载:39篇
    • 译文:0篇
    • 评论:2条
    文章分类
    最新评论