100行代码入门Scala

100行代码入门scala//定义类,传入变量默认实现get set方法 class People(var name:String, var age:Int) { //默认构造函数 println("get people one") name+="_name" var company = "abc" //自定义构造函数 def...
阅读(101) 评论(2)

Linux高级命令汇总

安装rpm -qa |grep softwarename 列出所有被安装的rpm package,包含softwarename的软件 rpm –e softwarename 删除软件 rpm –e --nodeps softwarename 强制删除软件包 rpm –Uhv softwarename.rpm 升级软件包(-U参数是告诉RPM先删除原先的版本,再安装新的版本) 系统查看ls...
阅读(455) 评论(0)

Hbase命令整理

hbase shell general命令:ddl 命令...
阅读(314) 评论(0)

HIVE全部函数详解

函数名 含义及实例 abs abs(x) - returns the absolute value of x Example:   > SELECT abs(0) FROM src LIMIT 1;   0   > SELECT abs(-5) FROM src LIMIT 1;   5 acos acos(x) - returns the...
阅读(574) 评论(0)

Mapreduce实例-JOIN

package com.sohu.tv.amstat.mr.test; import java.io.IOException; import java.util.ArrayList; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.h...
阅读(247) 评论(0)

Spark MLlib之协同过滤

Spark MLlib 协同过滤实例...
阅读(772) 评论(0)

Spark MLlib之KMeans

Spark MLlib之KMeansimport org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; im...
阅读(557) 评论(0)

Spark MLlib之线性回归

回归 RegressionMetrics mllib spark...
阅读(978) 评论(1)

SPARK各种提交方式总结

1,Spark SQL1.1 spark sql运行在yarn之前注意在/etc/profile配置export HADOOP_HOME=/data/hadoop/hadoop-2.7.1export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop1.2 需要将hive-sit...
阅读(1160) 评论(0)

Hive ORC数据格式的MapReduce Shuffle

1,mr代码如下package com.test.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apach...
阅读(447) 评论(0)

MD5/DES/AES加密实现

三种加密方式,java版本实现代码如下:import java.io.UnsupportedEncodingException; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; import javax.crypto.Cipher; import javax.crypto.Ke...
阅读(1475) 评论(0)

[译] MYSQL索引最佳实践

转自http://www.uoota.com/blog/archives/27218?utm_source=geek你做了一个明智的选择理解索引对开发和dba来说都是极其重要差劲的索引对产品问题负相当大的一部分责任索引不是多么高深的问题MySQL 索引一览表理解索引为你的应用创建最佳索引拥抱MySQL的限制简述索引索引有什么用为从数据库读取数据加速强制约束 (唯一索引 UNIQUE, 外键 FOR...
阅读(491) 评论(0)

python,scala,java中的map,reduce和filter

1,python中的map,reduce,filter使用     >>> a=[1,2,3,5] >>> map(lambda x:x+x,a) [2, 4, 6, 10] >>> map(lambda x:2*x,a) [2, 4, 6, 10] >>> reduce(lambda x,y:x*y,a) 30 >>> filter(lambda x : x%2,a) [1, 3, 5]2,sc...
阅读(1385) 评论(1)

数据挖掘-高等数学常用概念用法总结

1,  对数:如果a的x次方等于N(a>0,且a不等于1),那么数x叫做以a为底N的对数(logarithm),记作x=logaN。其中,a叫做对数的底数,N叫做真数默认以e为底数>>> from math import * >>> log(8,2) 3.0 >>> log(100,10) 2.0 >>> log10(100) 2.0 >>> log(10) 2.302585092994046...
阅读(1346) 评论(0)

史上最全“大数据”学习资源整理

当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。  为了帮助大家更好深入了解大数据,云...
阅读(1680) 评论(0)
178条 共12页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:655188次
    • 积分:7469
    • 等级:
    • 排名:第3205名
    • 原创:126篇
    • 转载:51篇
    • 译文:1篇
    • 评论:130条
    联系方式
    https://github.com/qifengdao
    博客专栏
    最新评论