关闭
当前搜索:

大数据(三十八)机器学习【机器学习语言---R语言小试牛刀】

安装完R语言和RStudio后,我们便可以开始小试牛刀了。 一、打开RStudio 打开后如下图所示 我们现在桌面建文件夹r_workspace,再按下图所示将工作空间切换至桌面r_workspace下 二、R数据介绍 R语言数据结构(6种): • 向量      R的基本数据结构式向量。向量存储一组有序的值,称为元素      一个向量可以包含任意数量的元素。然而...
阅读(74) 评论(0)

大数据(三十七)机器学习【机器学习语言---R语言介绍】

特点介绍     • 主要用于统计分析、绘图、数据挖掘     • R内置多种统计学及数字分析功能。R的功能也可以通过安装包(Packages,用户撰写的功能)增强。     • 因为S的血缘,R比其他统计学或数学专用的编程语言有更强的面向对象(面向对象程序设计)功能。 其他介绍     • R的另一强项是绘图功能,制图具有印刷的素质,也可加入数学符号。     • 虽然R主要用于...
阅读(73) 评论(0)

大数据(三十七)机器学习【机器学习语言】

一、R语言是第一代机器学习工具,其优势如下         1、因为R语言是统计学家发明的语言,然后封装了很多的数学公式         2、R语言有很多第三方的包,算法的包,画图的包         但是当数据量过大时候,R语言就显得很吃力了。当数据量过大时候我们就开始用Mahout。 二、Mahout是第二代机器学习语言。         Mahout使用mapreduce实现了...
阅读(48) 评论(0)

大数据(三十六)机器学习【相关概念】

说到机器学习,不由得将其和我们的大脑进行类别:         我们大脑依据经验来做判断;      机器学习依据数据来做判断。      机器学习的本质:      通过大量的数据训练出一个模型,然后将新的数据带入模型,模型会给出相对正确的结果。      说道这里,有一个关键词:训练模型。究竟怎么训练模型呢。其实是通过算法来训练模型。      算法就是公式。      下面举个...
阅读(56) 评论(0)

大数据(三十五)HBASE【mapreduce操作hbase】

现在有一些大的文件,需要存入HBase中,其思想是先把文件传到HDFS上,利用map阶段读取对,可在reduce把这些键值对上传到HBase中。   package test;   import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text;...
阅读(67) 评论(0)

大数据(三十四)HBASE【调优】

1. 表的设计 1.1 Pre-CreatingRegions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。...
阅读(156) 评论(0)

大数据(三十三)HBASE【Phoenix】

一、Phoenix是什么 二、Phoenix安装 三、...
阅读(102) 评论(0)

大数据(三十二)HBASE【Hbase JavaAPI访问HBase】

这里介绍使用java api来访问和操作HBase,例如create、delete、select、update等操作。 1.HBase配置 配置HBase使用的zookeeper集群地址和端口。 private static Configuration configuration; static { configuration = HBaseConfiguration.cr...
阅读(89) 评论(0)

大数据(三十一)HBASE【Hbase Shell 常用命令】

一、建表语句 hbase(main):003:0> create 't1', 'f1' , 'f2' , 'f3' --建表语句 0 row(s) in 9.5860 seconds => Hbase::Table - t1 hbase(main):004:0> desc 't1' --查看t1列族信息 Table t1 is ENABLED...
阅读(113) 评论(0)

大数据(三十)HBASE【Hbase 环境安装 -- 完全分布式安装】

一、前提         Hadoop和Zookeeper环境正常。 二、步骤         1、编辑hbase-site.xml hbase.rootdir hdfs://namenode.example.org:8020(1)/hbase hbase.cluster.distributed true hbase....
阅读(103) 评论(0)

大数据(二十九)HBASE【Hbase 环境安装 -- 单机版standalone】

一、拷贝安装包         将安装包方至node4的/opt/sxt/soft目录下 二、解压         解压目录 tar -zxvf hbase-1.1.3-bin.tar.gz 三、配置         1、配置HBase的JAVA_HOME         首先查看服务器JAVA_HOME的配置【vi /etc/profile】         然后执行命令vi /o...
阅读(76) 评论(0)

大数据(二十八)HBASE【Hbase 体系架构】

一、Hbase 体系架构         其中Client是客户端,连接Hbase的工具;Zookeeper实现Hbase高可用;HMaster是调度者,告诉我们的访问程序那张表在哪;HRegionServer存放数据;HRegion是表的一部分(表数据过大可能会分为若干个HRegion);每个HRegion中有一个HLog,用于版本恢复;每个HRegion中有若干个Store(0--n...
阅读(68) 评论(0)

大数据(二十七)HBASE【Hbase 综述】

HADOOP生态系统         其中:                 Zookeeper:分布式协作服务组件,管理Hadoop相关组件                 Flume:日志收集工具                 Sqoop:关系型数据库ETL工具【ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)...
阅读(88) 评论(0)

大数据(二十六)Hive【Hive 优化】

1.概述   继续《那些年使用Hive踩过的坑》一文中的剩余部分,本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。 2.介绍   首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产...
阅读(96) 评论(0)

大数据(二十五)Hive【Hive 函数 及其 自定义函数】

原生函数         参考链接https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 自定义函数         一、3种自定义函数                 1、UDF-----User Defined Function (一进一出)                 2、UDAF-----...
阅读(56) 评论(0)

大数据 (二十四)Hive【Hive 正则匹配】

说在前面的话   hive的正则表达式,是非常重要!作为大数据开发人员,用好hive,正则表达式,是必须品!        Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此,特意做了个hive正则表达式的小结。所有代码都经过亲测,正常运行。 1.regexp 语法: A REGEXP B  操作类型: strings  描述: 功能与RLIKE相同 sele...
阅读(116) 评论(0)

大数据(二十三)Hive【Hive三种启动方式 、 HIVE Server2详解 、 jdbc链接HIVE】

一:Hive的三种启动方式 1, hive  命令行模式         进入hive安装目录,输入bin/hive的执行程序,或者输入 hive –service cli         用于linux平台命令行查询,查询语句基本跟mysql查询语句类似  2, hive  web界面的启动方式         bin/hive –service hwi  (& 表示后台运行)...
阅读(77) 评论(0)

大数据(二十二)Hive【Hive【DML(数据操纵语言)语句】】

---- 1、数据加载语句 ---- CREATE TABLE people ( id STRING, name STRING, likes ARRAY, address MAP ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ',' MAP KEYS TERMINATED BY ':' STORED AS TEXTFILE; --在/opt/sxt...
阅读(75) 评论(0)

Web Service (014---webservice使用Jquery、Ajax请求WebService所遇到的跨域问题)

webservice使用Jquery、Ajax请求WebService所遇到的跨域问题...
阅读(62) 评论(0)

Web Service (013---webservice使用Jquery、Ajax请求WebService)

Ajax Jquery...
阅读(62) 评论(0)
90条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:51584次
    • 积分:1278
    • 等级:
    • 排名:千里之外
    • 原创:74篇
    • 转载:14篇
    • 译文:2篇
    • 评论:1条