2015年10月_caiandyong

原创 PHP Mysql中文乱码问题

把数据插入Mysql数据库，Select后在页面显示一切正常，但是通过Mysql管理工具查看，所有的中文都是乱码的。那么这就会带来一个问题：可能不能按条件进行查询。前提：1.数据库及数据表都是一样的格式；（要么都是UTF-8，或者......）2.php文件的存储格式不是ANSI；3.在页面中设置了Charset();解决方法：在所有的m

2015-10-26 15:46:13 391

转载 scala 基础语法

表达式scala> 1 + 1res0: Int = 2 值你可以给一个表达式的结果起个名字赋成一个不变量（val）。scala> val two = 1 + 1two: Int = 2 变量如果你需要修改这个名称和结果的绑定，可以选择使用var。scala> var name = "steve"name: java.lang.Stri

2015-10-20 13:48:58 6856 1

转载 Mapreduce实例-Top Key

public class TopK extends Configured implements Tool { public static class TopKMapper extends Mapper { public static final int K = 100; private TreeMap tm = new TreeMap();

2015-10-20 12:01:50 563

原创 MapReduce输入路径

目前为止知道MapReduce有三种输入路径的设置方式：1、第一种是通过以下方式输入：FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));FileInputFormat.addInputPath(job, new Path(

2015-10-20 11:50:19 2222

转载 JVM内存设置

一、设置JVM内存设置1. 设置JVM内存的参数有四个：-Xmx Java Heap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定；-Xms Java Heap初始值，Server端JVM最好将-Xms和-Xmx设为相同值，开发测试机JVM可以保留默认值；-Xmn Java Heap Young区大小，不熟悉最好保留默认值；

2015-10-20 11:38:07 416

原创 RDD的创建

RDD可以从现有的集合创建：scala> val col = List("a","b","c","d")col: List[String] = List(a, b, c, d)scala> val rdd1 = col.papadTo par partition patch scala> val rdd1 = sc.p

2015-10-18 21:33:51 735

原创 SparkContext类和SparkConf类

任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为：val conf = new S

2015-10-18 21:31:33 16963 1

原创 Spark的４种运行模式

Spark支持４种运行模式：本地单机模式　　本地单机模式下，所有的Spark进程均运行于同一个JVM中，并行处理则通过多线程来实现。在默认情况下，单机模式启动与本地系统的CPU核心数目相同的线程。如果要设置并行的级别，则以local[N]的格式来指定一个master变量，N表示要使用的线程数目。例子：默认情况：caiyong@caiyong:/opt/spark$ ./

2015-10-18 21:29:40 8224

原创 Spark是什么？

Spark是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。如果你熟悉Hadoop，那么你知道分布式计算框架要解决两个问题：如何分发数据和如何分发计算。Hadoop使用HDFS来解决分布式数据问题，MapReduce计算范式提供有效的分布式计算。类似的，Spark拥有多种语言的函数式编程API，提供了除map和reduce之外更多的运算符，这些操作是

2015-10-15 15:36:28 14860

原创 php 去掉字符串的最后一个字符

原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr; //echo 1,2,3,4,5,6系统自带的函数即可实现这样的效果，两种方法： sub

2015-10-10 21:36:24 6419

原创 php获取内容中的所有图片

function getImgs($content,$order='ALL'){ $pattern="//"; preg_match_all($pattern,$content,$match); if(isset($match[1])&&!empty($match[1])){ if($order==='ALL'){ retu

2015-10-08 01:33:53 3627

原创 windows下主机名与IP地址的映射

2015-10-08 00:13:32 9485

原创 Java反射机制（Reflection）

来源：子猴博客Reflection也就是反射，是Java语言的一个重要特征，我们知道，在使用一个类之前，我们往往都已经创建好它了，比如创建一个类文件，然后再写些属性、方法等，也就是这种类是静态的，但反射机制却允许你动态地创建一个类。除了动态地创建一个类外，我们还能动态地获取同类对象的数据，并将这些数据赋给新创建的类，这有点类似克隆复制。在很多时候，我们都需要这种动态创建类的特征，比如在

2015-10-07 21:30:15 507

转载初学HBase的几个问题

作者：iAm333 发表于2014-7-31 16:29:22 原文链接本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBase常用的操作有哪些？HBase的一些配置和监控什么是HBase？HBase，是Hadoop Database，是

2015-10-07 21:15:24 984

蔡先生的专栏