- 博客(255)
- 收藏
- 关注
RSS订阅原创 React 边学边积累<前言>
前言首先，你要搭建好环境，需要npm node 最好使用mac系统，现在Linux和windows也支持。默认我积累用mac系统。对于这种环境搭建问题，网上很多，相信总结类的博客，应该总结核心，其他细枝末节搜索就好了。很多地方现在都再用React，个人理解这个混合开发机制以后会大有用武之地，淘宝天猫客户端再用，携程也在用，还有微软也在启用了，有很多人不怎么看好，不爱学，我觉得我既然觉...
2016-01-13 01:02:24
221
原创 Java应用级产品开发平台APDPlat
APDPlat是Application Product Development Platform（应用级产品开发平台）的缩写。APDPlat提供了应用容器、多模块架构、代码生成、安装程序、认证授权、备份恢复、数据字典、web service、系统监控、操作审计、统计图、报表、机器绑定、防止破解、数据安全、内置搜索、数据转换、maven支持、WEB组件、内容管理、工作流、Web资源优化等功能。
2014-02-27 00:29:28
325
Hadoop平台学习过程的一些总结
1.MapR有三种版本，M3（免费版）、M5（含有支持的版本，并启用了所有HA特性）和M7（最近和重写的HBase一起发布），MapR采取了一种与其他供应商不同的方法，它肯定会有属于自己的追随者。2.hadoop 执行 mapreduce的有几种方式一、原生态的方式：java 源码编译打包成jar包后，由 hadoop 脚本调度执行二、基于 MR 的数据流 Like SQL 脚本开发语...
2013-11-02 11:44:00
212
hadoop的mapreduce常见算法案例有几种
基本MapReduce模式 计数与求和问题陈述: 有许多文档，每个文档都有一些字段组成。需要计算出每个字段在所有文档中的出现次数或者这些字段的其他什么统计值。例如，给定一个log文件，其中的每条记录都包含一个响应时间，需要计算出平均响应时间。解决方案:让我们先从简单的例子入手。在下面的代码片段里，Mapper每遇到指定词就把频次记1，Reducer一个个遍历这些词的集合然后把他们的频次...
2013-11-02 11:34:00
195
hadoop2.2.0 搭建
第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/如下图所示，下载红色标记部分即可。如果要自行编...
2013-10-31 22:30:00
120
Python脚本练习一
批量将指定目录下的所有文件中的$HADOOP_HOME$替换成/home/ocetl/app/hadoop#!/usr/bin/pythonimportosimportre#listfilesdeflistFiles(dirPath):fileList=[]forroot,dirs,filesinos.walk(dirPath):forfileObjinfile...
2013-10-31 22:11:00
120
hadoop2.2.0 搭建初体验
下载 hadoop-2.2.0.tar.gztar-xzvf hadoop-2.2.0.tar.gzcdhadoop-2.2.0vietc/hadoop/hadoop-env.sh修改：export JAVA_HOME=/usr/local/jdk1.7.0_15vietc/hadoop/slaves修改localhost为hostmastervi...
2013-10-31 22:01:00
94
java读取大文件1G+
正常读取大文件，可能会想到用缓存如：package base;import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;...
2013-10-30 13:12:00
561
深入理解hadoop网络
原文地址 http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我...
2013-10-29 22:35:00
118
Hadoop Namenode 无法启动 总结一
一周之后重新启动虚拟机，打开hadoop准备写点东西，结果jps 只有三个节点启动了TaskTrackersecondNamenodeDataNode然后继续jps，过一会全部节点都死掉捣鼓了半天，没办法只有format，结果数据丢失了，幸亏是学习用的测试环境所以，一般这种情况，不要急于找自己的配置那里出问题了解决问题先找思路，先看看你的网络首先，检查能否联...
2013-10-29 22:09:00
170
Hadoop MapReduce进阶 使用分布式缓存进行replicated join
概念：reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下，我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点：在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进...
2013-10-29 19:04:00
138
MapReduce提高效率的几点建议
Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人一样，找出关键的“症状”，对于不同的症状有不同的诊断和处理方式。 在医学领域，没有什么可以代替一位经...
2013-10-28 20:33:00
142
Hadoop的Partitioner
MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。我们在中间key上使用分区函数来对数据进行分区，之后再输入到后续任务执行进程。一个缺省的分区函数是使用hash方法(比如，hash(key) mod R)进行分区。hash方法能产生非常平衡的分区。然而，有的时候，其它的一些分区函数对key值进行的分区将非常有用。比如，输出的key值是URLs，我们希望每个...
2013-10-19 18:03:00
129
破解“无法复制粘贴”
如今在电脑的使用中经常碰到无法复制黏贴的问题，给资料的收集带来不少困难。近日，宇宙无意中看到了这篇文文，感觉不错，即转载分享！在此感谢文章作者雨中发呆。文文可能因浏览器版本不同，破解方法可能略有差异。原文地址：http://blog.sina.com.cn/s/blog_0cfdf27c0102e4nk.html。1、将Internet的安全级别设置为“高”①启动IE→点击菜单“工具”...
2013-10-19 13:31:00
709
Hadoop版本选择探讨
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。1.Apache Hadoop1.1Apache版本衍化截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1....
2013-10-19 10:34:00
496
Eclipse 习惯性快捷键之类的解决总结
我的eclipse 3.7，Ubuntu11.04 32bit 系统自动安装。发觉自动补全功能（alt + /）失效。解决的办法：1、（eclipse）window --> preferences --> General --> keys或者直接在preferences中输入keys，把“word completion”所对应的快捷解（alt + /）去掉（选择需要改...
2013-10-19 10:17:00
104
hadoop配置、运行错误总结
新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespac...
2013-10-16 15:16:00
136
Hive两种模式安装
Hive两种模式安装数据仓库工具，可以把Hadoop下的原始结构化数据变成Hive中的表。 支持一种与SQL几乎完全相同的语言HiveQL，除了不支持更新、索引和事务。 可以看成是从SQL到Map-Reduce的映射器。 提供shell、JDBC/ODBC、thrift、Web等接口。一、内嵌模式安装 这样安装的元数据保持在内嵌的Derby数...
2013-10-15 16:48:00
125
hadoop 运行期间偶发的各种问题积累（简单问题不展示）
HTTPERROR:404/jobtracker.jspRequestURI=/jobtracker.jspPoweredbyJetty://端口已打开，且没被其它程序占用；jps查看各服务正常运行，且集群运行也没问题，只是不能查看；./hadoopdfsadmin-report查看集群节点也没问题；解决办法：buid本地库存后，应该把build目录删除，否则启...
2013-10-14 16:07:00
128
Mahout安装与配置
Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多，并不复杂，这里不再讲述，接下来阐述怎么安装Mahout。1：下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载，我选择下载二进制包，直接解压及可。hadoop@ubuntu:~$ tar -zxvf ...
2013-10-13 23:49:00
168
mahout之聚类算法——KMeans分析
一，K-Means聚类算法原理 k-means 算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”（引力中心）来进行计算的。 K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-mea...
2013-10-13 19:02:00
198
原来OOM的罪魁祸首是C代码---android out of memory(OOM)
一.1.什么是 OutOfMemoryError：官方引用： Thrown when a request for memory is made that can not be satisfied using the available platform resources. Such a request may be made by both the running application...
2013-09-02 15:16:00
303
android中Bitmap的剪切与拉伸
1. Bitmap的剪切通常是用到了Bitmap类的createBitmap方法的几个重载方法：public static Bitmap createBitmap (Bitmap source, int x, int y, int width, int height, Matrix m, boolean filter)该方法结合Matrix（矩阵）来实现Bitmap的剪切，很多人对...
2013-09-02 14:45:00
874
android解锁屏时Activity生命周期的变化
最近做的忍者小鸡暗杀行动遇到按锁屏键再解锁时进入游戏画面会特别卡的问题，后来打日志发现锁屏再解屏时生命Activity的生命周期发生异常变化引起的，下面就具体来看下。事先在GameActivity(游戏主界面)的 onCreate() 方法和 onDestroy()方法打上Log 。进入GameActivity时——————————->onCreate();按锁屏后 ：—...
2013-09-02 14:36:00
157
自定义dialog样式
自定义Dialog通常有两种方式，一种是继承Dialog类 自定义Dialog，另一种是继承Activity 然后让Activity以Dialog的形式显示，只要在Activity的配置文件里加上 android:theme=”@android:style/Theme.Dialog”。前者相比较后者比较节省资源，通常情况下建议使用前者。但是仅仅这样还不够.dialog实际显示的时候有一层边框...
2013-09-02 14:31:00
190
Bitmap拉伸后出现锯齿的几种解决办法
最近在做Flow Em时 遇到图片拉伸后出现严重锯齿的情况，后来网上查了下，经过几次尝试算是解决了问题，现在就来总结下：网上搜到的两种解决方法：1.给Paint加上抗锯齿标志。然后将Paint对象作为参数传给canvas的绘制方法。paint.setAntiAlias(true);canvas.drawBitmap(bmp ,fX,fY,paint);2.直接给canvas加抗...
2013-09-02 14:27:00
781
Android中Activity频繁进入再退出时程序崩溃的解决方案
最近在对一款开发中的游戏进行压力测试时会出现崩溃的问题，具体场景是 在进入一个Activity时立即按返回键退出该Activity再迅速进入该Activity，进入退出的时间间隔越短越容易发生崩溃，后来打印日志发现，由于Activity进入需要加载资源，退出需要释放资源，这两个操作都需要一定的时间，照以上场景进行压力测试就会出现 Activity在资源还没加载完之前然后程序就会去释放资源，这样就会...
2013-09-02 14:11:00
798
android防止内存溢出浅析（二）
上次讨论的 由于Bitmap引起的内存溢出相对比较容易发现，这次我们来看看相对比较难以发现的引起内存溢出的两种情况。一，Context引起的内存溢出：在Android平台上，长期保持一些资源的引用，造成一些内存不能释放，带来的内存泄露问题很多。比如Context。android中的很多资源文件都需要一个Context引用来加载，如果这些资源没有被释放，那么Context的引用不为n...
2013-09-02 14:05:00
99
android防止内存溢出浅析（一）
做android游戏开发有一段时间了，对于开发中遇到额OutOfMemory 异常真的是很头疼，今天就在此总结下。游戏开发中遇到的内存溢出基本上都是出现在加载Bitmap的时候 ，原因是Bitmap实在是太占内存了，尤其是对于高分辨率的的图片一定要小心使用了。下面就罗列出三点解决使用Bitmap时出现的内存溢出问题的方案：一.及时的销毁：虽然，系统能够确认Bitmap分配的内存最终...
2013-09-02 14:02:00
90
Android的Activity共享变量的另一种做法
--------------------------------------------------------注意：这种做法对于activity比较少，只有两三个，并且context生命周期比较长，根本不怎么起作用。解决不了OOM-----------------------------------------------------------感觉用这种方式存储登录信息比较好，比S...
2013-09-02 14:00:00
77
android 截屏代码段
private Bitmap screenShot() { View view = getWindow().getDecorView(); Display display = this.getWindowManager().getDefaultDisplay(); view.layout(0, 0, display.getWidth(), display.getHeight())...
2013-08-15 00:46:00
107
平衡二叉树以及平衡二叉树旋转
形态匀称的二叉树称为平衡二叉树 (Balanced binary tree) ，其严格定义是： 一棵空树是平衡二叉树；若 T 是一棵非空二叉树，其左、右子树为 TL 和 TR ，令 hl 和 hr 分别为左、右子树的深度。当且仅当 ①TL 、 TR 都是平衡二叉树； ② ｜ hl － hr ｜≤ 1；时，则 T 是平衡二叉树。【例】如图 8.4 所示。 （a）平衡二叉树 ...
2013-08-12 20:05:00
125
Eclipse 莫名其妙自动退出
Posted March 15th, 2012 inRaznoby MetodIf your eclipse crashed and refuses to start, saying something along the lines of: Job found still running after platform shutdown. Jobs should be canc...
2013-08-12 15:44:00
214
lucene第三步，分词
出自：http://blog.csdn.net/wxwzy738/article/details/8799656 的整理1、2、语汇单元的结构解释3、同义词的设计思路4、分词器的比较和测试[java] view plaincopypackageorg.lucene.test;importjava.io.File;importjava....
2013-08-09 00:15:00
113
lucene第一步，lucene基础，索引创建
出自：http://blog.csdn.net/wxwzy738/article/details/8799184 的整理1、工程结构2、索引创建时的属性：Field.Store.YES或者NO(存储域选项)设置为YES表示或把这个域中的内容完全存储到文件中，方便进行文本的还原设置为NO表示把这个域的内容不存储到文件中，但是可以被索引，此时内容无法完全还原(doc.get...
2013-08-09 00:11:00
98
lucene第二步，lucene搜索
出自：http://blog.csdn.net/wxwzy738/article/details/8799656 的整理1、工程结构2、查询语法代码[java] view plaincopypackageorg.itat.index;importjava.io.File;importjava.io.IOException;importjava.io...
2013-08-09 00:11:00
121
Firefox OS App开发及部署
Firefox OS所有应用都采用HTML5的标准，只要会HTML、CSS、JS，开发APP是非常简单的，只是firefox os提供了一些针对移动设备的特性，如电话、短信、WIFI、3G网络等，但调用这些功能跟普通的JS组件一样，操纵JS对象即可。mozilla也在和 W3C进行协商，争取将这些新增的特性添加到HTML5标准里面去。Firefox OS App的部署目前有两种方式...
2013-07-15 09:58:00
173
sqoop 的使用
(读这篇文章：bingdongguke的提醒。有可能有的文件链接下载不了，可以到apache自行找链接与版本)下载sqoop[root@localhost download]# wgethttp://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gzwgethttp://labs.mop.com/apache-m...
2013-07-05 17:45:00
186
sqoop安装及数据迁移
(读这篇文章：bingdongguke的提醒。有可能有的文件链接下载不了，可以到apache自行找链接与版本)下载sqoop[root@localhost download]# wgethttp://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gzwgethttp://labs.mop.co...
2013-07-05 17:09:00
98
sqoop安装及数据迁移
(读这篇文章：bingdongguke的提醒。有可能有的文件链接下载不了，可以到apache自行找链接与版本)下载sqoop[root@localhost download]# wgethttp://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gzwgethttp://labs.mop.co...
2013-07-05 17:05:00
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人