- 博客(22)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 php环境下，无法运行帝国备份王程序
我在虚拟机下，安装了Windows 2003 服务器系统，mysql server 5.5，PHP 5.3.12，FASTCGI1.5的php坏境，但是不知道为什么运行帝国备份王程序，网上找了很多的方法，都无法解决这个问题。解决办法：打开 php.ini ，找到 short_open_tag = Off 这一行，将 Off 修改为 On，保存退出重启 Apache 就可以了~
2017-04-24 16:35:26
714
转载 微信公众号开发-初学者-SAE新浪云申请及自定义菜单
毕业设计选题为基于微信公众平台的鲜花定制系统的开发，经过前期的学习和实践，现在已经将自定义菜单开发出来并成功显示了。首先，对于第一次进行开发的小白来说，注册一个订阅号是第一步，大部分学习者是选择个人非认证的，并不影响开发学习（具体注册步骤可以百度进行，并没有太大的难度）。然后需要充分了解并熟悉微信公众账号非开发者模式下的运营（推送消息以及非开发者模式下的菜单等功能）。建议花几天时间用自己注
2017-04-16 22:49:22
3426
1
转载 CentOS 6.5安装VNCserver 并开启远程桌面
CentOS 6.5安装VNCserver 并开启远程桌面，首先要让虚拟机联网，才能下载yum源。让舍友开个WIFI，然后用NAT模式连接。不会的去百度。1、下载vncserveryum install tigervnc tigervnc-server -y2、配置 vncserver vim /etc/sysconfig/vncserver 在文件加入下面两行代码：
2017-04-14 17:46:12
1476
转载 Hadoop 2.6.0 HA高可用集群配置详解
1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计
2017-04-13 21:54:59
634
转载 Hadoop2.6.2完全分布式集群HA模式安装配置详解
一、机器配置清单(8节点)hadoop100 节点：NameNode、DFSZKFailoverController(ZKFC)hadoop101 节点：NameNode、DFSZKFailoverController(ZKFC)hadoop102: 节点：ResourceManagerhadoop103: 节点：ResourceManagerhadoo
2017-04-13 21:47:40
474
转载 Spark RDD/Core 编程 API入门系列 之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四）
Spark RDD/Core 编程 API入门系列 之rdd案例（map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等）（四） 声明： 大数据中，最重要的算子操作是：join !!! 典型的transformation和action val n
2017-04-11 14:02:23
2172
转载 top N彻底解秘
本博文内容： 1、基础Top N算法实战 2、分组Top N算法实战 3、排序算法RangePartitioner内幕解密 1、基础Top N算法实战 Top N是排序，Take是直接拿出几个元素，没排序。
2017-04-11 14:00:18
1355
转载 Spark RDD/Core 编程 API入门系列之简单移动互联网数据（五）
Spark RDD/Core 编程 API入门系列之简单移动互联网数据（五） 通过对移动互联网数据的分析，了解移动终端在互联网上的行为以及各个应用在互联网上的发展情况等信息。具体包括对不同的应用使用情况的统计、移动互联网上的日常活跃用户（DAU）和月活跃用户（MAU）的统计，以及不同应用中的上行下行流量统计等分析。 为了简化移动互联网数据的分析，我这里是当个入门。
2017-04-11 13:58:26
586
转载 Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、look
1、以本地模式实战map和filter2、以集群模式实战textFile和cache3、对Job输出结果进行升和降序4、union5、groupByKey6、join7、reduce8、lookup 1、以本地模式实战map和filter以local的方式，运行spark-shell。spark@Sp
2017-04-11 13:54:35
1252
转载 Spark的算子的分类
Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会
2017-04-11 13:52:03
421
转载 Spark的四种运行模式
介绍本地模式Spark单机运行，一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接Mesos。
2017-04-11 13:14:37
1886
转载 spark【例子】倒排索引(InvertedIndex)
例子描述：【倒排索引(InvertedIndex)】这个例子是在一本讲Spark书中看到的，但是样例代码写的太Java化，没有函数式编程风格，于是问了些高手，教我写了份函数式的倒排索引。 这段代码，我在刚开始学的时候很难想到二次拆分数据，所以这个难点挺不错的。原始数据 cx1|a,b,c,d,e,f cx2|c,d,e,f cx3|a,b,c,f cx4
2017-04-11 11:23:54
3219
转载 spark【例子】字典关联1
例子描述：我们在日常工作中，经常会遇到字典关联的场景，比如：张三，19，1 李四，19，2 王五，19，3将后面的数字关联成职业张三，19，司机 李四，19，厨师 王五，19，警察这是一个简单的场景，往往在实际当中，后面需要关联的内容是一个字典表。下面请看例子代码片段：创建字典 读取配置文件方法
2017-04-11 11:22:10
769
转载 spark【例子】count(distinct 字段) 简易版 使用groupByKey和zip
例子描述：有个网站访问日志，有4个字段：（用户id，用户名，访问次数，访问网站）需要统计：1.用户的访问总次数去重2.用户一共访问了多少种不同的网站这里用sql很好写select id,name,count(distinct url) from table group by id,name其实这个题目是继官方和各种地方讲解聚合函数（agg
2017-04-11 11:20:48
1719
转载 spark【例子】同类合并、计算2
例子描述：大概意思为，统计用户使用app的次数排名原始数据：000041b232,张三,FC:1A:11:5C:58:34,F8:E7:1E:1E:62:20,15097003,,2016/6/8 17:10,2016/6/8 17:10,690,6218,11=0|12=200,2016/7/5 11:11 000041b232,张三,FC:1A:11:5C:58:3
2017-04-11 11:19:34
517
转载 spark【例子】同类合并、计算（主要使用groupByKey）
例子描述：【同类合并、计算】主要为两部分，将同类的数据分组归纳到一起，并将分组后的数据进行简单数学计算。 难点在于怎么去理解groupBy和groupByKey原始数据 2010-05-04 12:50,10,10,10 2010-05-05 13:50,20,20,20 2010-05-06 14:50,30,30,30 2010-05-05 13:5
2017-04-11 11:16:26
1930
转载 spark dataframe操作集锦（提取前几行，合并，入库等）
Spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到Hive中。
2017-04-11 11:03:07
1053
转载 Spark 入门实战之最好的实例
转载：https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/搭建开发环境安装 Scala IDE搭建 Scala 语言开发环境很容易，Scala IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。安装 Scala 语言包如果下载的 S
2017-04-06 17:18:38
1145
转载 Spark-ML-01-小试spark分析离线商品信息
任务一个在线商品购买记录数据集，约40M,格式如下：Jack,iphone cover,9,99Jack,iphone cover,9,99Jack,iphone cover,9,99Jack,iphone cover,9,9912341234完成统计： 1.购买总次数 2.客户总个数 3.总收入 4.最畅销的商品代码import java.u
2017-04-06 17:12:14
571
转载 Spark踩坑记——初试
Spark踩坑记——初试[TOC]Spark简介整体认识Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark在整个大数据系统中处于中间偏上层的地位，如下图，对hadoop起到了补充作用：基本概念Fork
2017-04-06 17:07:25
550
转载 Spark读写Hbase示例代码
最少需要导入hbase以下4个jar:hbase-clienthbase-commonhbase-protocolhbase-server写入Hbasedef writeHbaseFromRDD (tableName:String, columnFamily:String, column:String,rdd:RDD[(String, String)]):
2017-04-06 17:02:36
914
转载 Spark 下操作 HBase
Spark 下操作 HBase（1.0.0 新 API）Hbase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase
2017-04-06 17:01:12
541
2018年数据可视化的8大趋势
2018-01-10
Kafka核心原理与实战（并不是原书，请看描述和评论下载）
2018-01-10
《开源》200801.pdf
2008-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人