- 博客(124)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 tensorflow实现的一个三层神经网络
# -*- coding: utf-8 -*-"""Created on Sat Aug 13 16:38:38 2016cnn of myself,today!@author: root"""import tensorflow as tfimport numpy as np'''inputs : input x setinput_feature_size
2016-08-13 21:08:54
2750
1
原创 Zookeeper CURD的一个例子，简单记忆
// 创建一个与服务器的连接 需要(服务端的 ip+端口号)(session过期时间)(Watcher监听注册) ZooKeeper zk = null; try { zk = new ZooKeeper("192.168.30.110:2181", 3000, new Watcher() { pu
2015-09-14 16:24:49
828
原创 flume配置参考
1 redis source,memory channel,json intercepter and file_roll sink配置例子agent.sources = redis redis1agent.channels = memoryagent.sinks = fileSinkagent.sources.redis.type = com.flumeng.plugins
2015-06-17 11:48:11
1328
原创 Redis常用命令
1 创建-是否存储-查看-删除 set name maojun;exists name;get name;del name;2 序列化记录 set name maojun;exists name;dump name;退出客户端在进入，exists name,name依然存在。3 给key设置生存时间-修改生存时间 set name maojun;exists na
2015-06-07 18:13:35
867
原创 CentOS6.6上安装Python2.7.10
CenoOS6.6 64位系统默认的Python版本是2.6.6，工作中需要使用Python2.7.10。本文介绍一下Python2.7.10的安装方法。切记：不可覆盖Python2.6.6，小心你的系统不能用了。总的来说安装过程是：Python2.7.10源码安装---->setuptools16.0安装---->pip安装Python2.7.10源码安装预安装yum groupin
2015-05-29 12:59:04
1650
原创 CDH5.2.0升级到CDH5.3.3
公司有一个Spark on Yarn集群，基于CM5.2.0+CDH5.2.0搭建，Spark的版本是1.1.0.为了使用Spark1.2.0的一些特性，决定将集群版本升级到CM5.3.3+CDH5.3.3。之所以升级CM，是因为CM的版本号必须大于等于CDH的版本号。下面分成两个步骤介绍升级过程：CM升级和CDH升级。1 CM升级过程介绍 1.1 admin用户登陆http://1
2015-04-15 11:31:45
1566
翻译 Spark优化
Spark 优化· 数据序列化· 内存优化o 确定内存使用o 调整数据结构o 序列化的RDD存储o 垃圾回收调整· 其它注意事项o 并行粒度o Reduce任务内存使用o 广播大的变量o 数据本地性· 总结基于内存的计算（当然也可以用磁盘）是Spark的一个重
2015-02-10 11:13:07
1614
原创 spark on yarn 执行过程介绍
执行语句：sudo spark-submit --master yarn--driver-memory 7G --executor-memory 5G --executor-cores 24 --num-executors 4--class spark.init.InitSpark /home/hxf/gogo.jar>/home/hxf/dddd.txt2>&1;执行过程：
2015-02-02 10:34:28
1674
原创 scala private private[package] protected 使用说明
package com.scala.idleobject PrivateDoor { def main(args: Array[String]): Unit = { val privateContainer = new PrivateContainer() //访问共有变量 println(privateContainer.publicVar)
2015-01-26 18:37:43
5129
原创 scala 用trait还是用abstract class
package com.scala.idleobject TraitOrAbstractClass { def main(args: Array[String]): Unit = { }}/** * 继承两个trait，N多方便啊！ */class TestClass000 extends Trait000 with Trai
2015-01-26 15:13:01
2509
原创 spark sortByKey subtractByKey take takeOrdered等函数使用例子
package com.latrobe.sparkimport org.apache.spark.{SparkContext, SparkConf}/** * Created by spark on 15-1-19. * 根据key对K-V类型的RDD进行排序获得新的RDD */object SortByKey { def main(args: Array[String]) {
2015-01-20 22:48:32
3398
原创 spark foldByKey
package com.latrobe.sparkimport org.apache.spark.{SparkContext, SparkConf}/** * Created by spark on 15-1-18. */object FoldByKey { def main(args: Array[String]) { val conf = new SparkConf(
2015-01-18 22:58:51
2625
原创 Spark PairRDDFunctions flatMapValues
package com.latrobe.sparkimport org.apache.spark.{SparkContext, SparkConf}/** * Created by spark on 15-1-18. */object FlatMapValues { def main(args: Array[String]) { val conf = new SparkC
2015-01-18 22:22:59
2491
原创 spark rdd countByValue
package com.latrobe.sparkimport org.apache.spark.{SparkContext, SparkConf}/** * Created by spark on 15-1-18. * 统计出集合中每个元素的个数 */object CountByValue { def main(args: Array[String]) { val c
2015-01-18 14:45:24
5077
原创 spark rddToPairRDDFunctions countByKey
package com.latrobe.sparkimport org.apache.spark.{SparkContext, SparkConf}/** * Created by spark on 15-1-18. * 计算出每个key对应的value的数量 */object CountByKey { def main(args: Array[String]) { v
2015-01-18 14:41:28
2165
原创 spark RDD countApproxDistinct
package com.latrobe.sparkimport org.apache.spark.{SparkConf, SparkContext}/** * Created by spark on 15-1-18. * countApproxDistinct : RDD的一个方法，作用是对RDD集合内容进行去重统计。 * 该统计是一个大约的统计，参数relativeSD控制统计的精
2015-01-18 14:24:11
2629
原创 scala implicit 学习简记
scala 隐式转换氛围三种：隐式参数、隐式类和隐式对象。这篇文章会结合隐式转换在Spark中的应用来分别说明三种隐式转换的用法。
2015-01-11 21:11:37
901
原创 Spark RDD与共享变量简介
hadoop有两个东东：HDFS（存储）和MapReduce（计算）。MapReduce计算比较慢，于是Spark（速度是MR的10~100倍）出现了。Spark有两个核心的概念：弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。弹性分布式数据集（RDD）获得方式：1并行化驱动程序内的集合; 2从外部数据集加载。1 并行化驱动程序内的集合code demoval d
2014-11-20 10:58:21
2651
原创 sqoop使用例子
简介： sqoop是工具，一个可以把ORACLE、MYSQL中的数据导入到HDFS、HIVE、HBASE中（反过来也可以）的工具。下面是一些使用的例子。留下做个参考：#从Mysql中抽取数据到HDFS.问题：文件太多，全他妈是小文件；目标目录如果已经存在会报错sqoop import --connect jdbc:mysql://10.10.244.137/test --username
2014-11-08 13:25:39
2132
原创 YARN架构简介
MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN.The fundamental idea of MRv2 is to split up the two major functionalities of th
2014-11-03 23:28:10
1159
原创 CDH5.2+CM5.2+impala2+Spark1.1 集群搭建基础环境准备
测试集群简介：一共有4台机器：10.10.244.136、10.10.244.137、10.10.244.138、10.10.244.139。10.10.244.136是管理节点，另外3台是存储节点。准备工作详情如下：1 在四台机器上安装CentOS release 6.5 (Final) 64位（管理节点需要安装Mysql\Postgresql\redhat_lsb）2 CDH5.2（
2014-11-03 10:02:43
1951
1
转载 静态Hash解决数据颠簸问题
在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括： 轮循算法(Round Robin)、哈希算法(HASH)、最少连接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为常用的算法.典型的应用场景是： 有N台服务器提供缓存服务，需要对服务器进行负载均衡，将请求平均分发到每台服务器上，每台机器负责1
2014-08-18 19:44:27
995
原创 ORACLE常用命令
1 如何查看数据库中都有什么表？ select * from sys.user_tables;2 如何链接数据库 sqlplus /nolog;conn sys/oracle as sysdba;3 如何启动数据库 startup;
2014-08-13 20:44:08
970
原创 bugfree无法上传附件问题
1 查看各个项目的Project ID编号 mysql -uroot -h10.10.2xx.xx show databases; use bugfree2; desc bf_TestProject; select ProjectID,ProjectName from bf_TestProject;(查询结果如下) 2 在/va
2014-06-04 20:29:51
2259
原创 zabbix 客户端安装配置运行
1 创建zabbix 用户 groupadd zabbix; useradd -g zabbix zabbix; passwd zabbix; 两次输入密码2 下载获得zabbix的包，然后解压 tar zxvf zabbix-2.2.3.tar.gz;3 安装 cd /home/zabbix/zabbix-2.2.3; ./con
2014-05-31 09:39:39
1347
原创 samba 文件和文件夹权限控制
[laps_test] comment = laps_test path = /home/laps browseable = yes writable = yes valid users=laps create mode=0777 directory mode=0777
2014-05-07 20:54:51
1571
转载 Linux CPU、内存监控命令详解
查看多核CPU命令mpstat -P ALL 和 sar -P ALL 说明：sar -P ALL > aaa.txt 重定向输出内容到文件 aaa.txttop命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图中内存数值的含义就有不少的曲解。本文通过一个运行中的WEB服务器的top监
2014-05-04 11:01:50
4652
转载 Linux下区分物理CPU、逻辑CPU和CPU核数
Linux下区分物理CPU、逻辑CPU和CPU核数 ㈠ 概念 www.2cto.com ① 物理CPU 实际Server中插槽上的CPU个数 物理cpu数量，可以数不重复的 physical id 有几个
2014-05-04 10:47:07
944
翻译 OpenStack QA
1 能用devstack部署生产环境的OpenStack吗？ 不能，记着，不能！有些选项对生产环境不合适。生产环境可以考虑使用Crowbar部署OpenStack
2014-05-03 12:20:52
1025
翻译 OpenStack Shared Services
OpenStack 提供了三个共享服务（ID服务、镜像服务、一个WEB接口），这三个共享服务存在于OpenStack的三个支柱性组件（计算组件、存储组件和网络组件）。这些共享服务使得OpenStack各个组件的融合以及OpenStack与外部系统的融合更加容易，为用户提供了统一的体验。ID服务OpenStack ID服务提供了用户可访问目录到用户可使用OpenStack服务的映射。ID服务
2014-04-24 16:54:33
1220
翻译 OpenStack Dashboard
OpenStackDashboard 为管理员和普通用户提供了一个图形化管理界面，用户可以通过该界面访问、分配或者自动化分配基于云的资源。可扩展的设计使得与第三方产品和服务融合变得很容易，例如计费、监控和其它的管理工具。Openstack dashboard也可以定制。OpenStackDashboard只是管理OpenStack资源的一种方式。开发者可以直接访问或者利用本地OpenStack
2014-04-24 16:53:30
1304
翻译 OpenStack Networking
今天的数据中心网络比以往任何时候包含的设备都要多，例如服务器、网络设备、存储系统和安全设备等。这其中有很多被近一步划分为多个虚拟机和虚拟网络。IP地址的数量、路由配置和安全规则可以迅速达到百万级别。传统的网络管理技术面对下一代网络很难提供一个真正可扩展的、自动化的网络管理方式。OpenStack 网络管理是一个插件式的、可以水平扩展的、API驱动的系统，使用该系统可以有效管理您的网络和IP地址
2014-04-24 16:52:29
1020
翻译 OpenStack Storage
除了传统的企业级存储技术，现在很多组织有很多不同性价比的存储需求。OpenStack支持对象存储和块存储，在实际的使用过程中，有很多的配置项可以使用。如果你想搭建一个经济的、可横向扩展的存储，OpenStack的对象存储是一个不错的方案。它提供了一个完全分布式的，可以使用API访问的的存储平台。该平台可以无缝接入到你的程序，或者用了备份、归档和数据存储。使用块存储，用户可以看到独立的块设备（如
2014-04-24 16:51:07
1425
翻译 OpenStack Compute
通过配置和管理一个巨大的虚拟机组成的网络，OpenStack云操作系统使企业和服务提供商可以按照需要为用户提供计算资源。开发者可以通过API调用计算资源创建云应用，管理员和普通用户可以通过WEB API访问计算资源。OpenStack的计算架构是基于普通标准硬件的、可以水平扩展的，这种架构可以帮助企业省钱。灵活的架构OpenStack 在架构层面上保证了系统的灵活性，并且对软硬件没有特
2014-04-24 16:49:36
1183
原创 IDV学习记录
IDV 是美国ucar开发的一个客户端工具，它的作用把各种天气状况生动地展示给客户。它采用JAVA 语言开发，是开源的、免费的、先进的。下面的内容主要记录一下我认为IDV 比较重要 的一些功能。1 IDV 汉化方法http://www.unidata.ucar.edu/software/idv/docs/workshop/advanced/PluginManager.html
2014-02-15 20:45:38
2509
1
原创 文件系统实时监控
业务场景：1 各个省级气象中心会不定时向国家气象中心上传一些气象产品文件； 2 国家气象中心收到这些产品后会按照预订的规则发送给不同的客户。需求：基于实时性的考虑，要求国家气象中心收到产品后立即发走，所以定时扫描这个方式不再考虑。尝试过的解决方案：1 使用JDK 的WatchService API来做：WatchSer
2014-01-11 22:32:48
1390
原创 FTP安装和虚拟用户的建立
应用场景：1 北京市气象局有一个气象数据的文件服务器（Red Hat Enterprise Linux Server release 5.5 (Tikanga)）；2 朝阳区、海淀区等14个区县的气象局每天需要向北京市气象局上传一些气象产品（图片、数据文件等）。3 做法：在北京市气象局服务器上安装一个ＦＴＰ服务器，给每个区县开一个FTP虚拟账号。下面讲一下FTP服务器的安装
2013-12-20 16:10:40
1367
原创 为Red Hat Enterprise Linux Server release 5.5搭建本地YUM源
现状：Red Hat Enterprise Linux Server release 5.5上可以使用YUM，但是需要到红帽官方注册，需要花钱。不花钱的方法：在局域网一台机器上为Red Hat Enterprise Linux Server release 5.5搭建一个YUM源，然后供局域网中的其他机器使用。yum源搭建 的详细流程：
2013-12-05 13:08:45
2657
原创 CDH本地安装教程
总体思路：在机器A上安装CM4.7.3（在线安装，本地安装都可）===》准备本地YUM源（http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/中所有代码）===》配置ＣＭ引用本地的YUM源===》通过ＣＭ安装CDH4.3.2
2013-11-12 17:10:21
1469
ARPU预测.docx
2019-12-02
MLlib-Scalable Machine Learning on Spark
2014-12-16
Hadoop运维杂记
2013-07-16
jps判断hadoop启动是否成功
2013-06-23
Hadoop Shell命令大全
2012-10-30
SVN工具使用培训资料
2012-10-30
SecureCRT&FX64;位及破解
2012-10-15
功能健全的网页在线预览，在线打印js插件
2011-02-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人