自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Pycharm连接MySQL

1.如果你在Pycharm中导入MySQL数据库失败,那么首先要安装MySQLdb包,去官网下载,下载好以后一路“下一步”安装即可。这个地方一定要注意,下载的MySQLdb模块要和你使用的Pycharm模块保持一致,不然后面会报错,64位下载地址。2.在Pycharm中添加Database Navigator依赖3.这个时候你的导航栏会有DB Navigator4.然后就可以调出DB Browse...

2018-04-12 15:39:49 7856

转载 用Python来实现决策树、SVM和线性回归等机器学习算法

一、Python实现决策树我们看一组实例,贷款申请样本数据表。希望通过所给的训练数据学习一个贷款申请的决策树,用以对未来的贷款申请进行分类,即当新的客户提出贷款申请时,根据申请人的特征利用决策树决定是否批准贷款申请。在编写代码之前,我们先对数据集进行属性标注。年龄:0代表青年,1代表中年,2代表老年;有工作:0代表否,1代表是;有自己的房子:0代

2018-01-22 17:14:52 1171

原创 JDK语言包

JDK所提供的所有标准Java类都存放在Java包中,如java.lang包中包含了运行Java必不可少的系统类。由于系统会自动将java.lang引入,所以不需要在源文件中用import语句来显示地引入这个包。另外,Java跪地过java.util和java.io是必须提供的标准包,在JDK中常用的包有以下几种:1.java.lang:语言包2.java.util:实用包3.java

2017-10-16 15:45:09 439

原创 java.util包

按照Java8官方文档对java.util包的定义:java.util包是包含集合框架、遗留的 collection 类、事件模型、日期和时间设施、国际化和各种实用工具类(字符串标记生成器、随机数生成器和位数组、日期Date类、堆栈Stack类、向量Vector类等)、集合类、时间处理模式、日期时间工具等各类常用工具包。下面这张图概括了java.util包的基本构成下面按照重要性以及常

2017-10-16 10:47:40 276

原创 Java基础知识入门

1.当一个类有多个构造器时,一个构造器调用另外一个构造器,可以使用this。class Post { private String title; private String content; // 第一个构造器 public Post(String title) { this.title = title; } // 第二个构造器 publ

2017-10-14 20:58:50 8097 3

原创 Spark Streaming模拟网络热搜词和黑客过滤

近几年来,“热搜词”逐渐成为人们热议的话题,透过热搜词我们能迅速知道当下最流行的话题、最受欢迎的美食、播放最多的电影电视剧....object Top5 { def main(args:Array[String]){ val conf=new SparkConf() conf.setAppName("JasonShu") conf.setMaster("sp

2017-09-17 18:20:31 271

原创 Spark重点难点知识总结(一)

Master和Woker(相当于总经理和小组组长)Master:在基于standalone模式的Spark集群中,Cluster Manger就是Master,Master负责分配资源。Worker:Worker负责监控自己节点的内存和CPU等状况,并向Master汇报。资源的管理和分配 :资源的管理和分配,由Master和Worker来完成。Master给Worker分配资源,M

2017-07-14 16:33:58 2794

原创 Spark重点难点知识总结(二)

一.Tuple2讲解1.何谓Tuple?Tuple就是用来把几个数据放在一起的比较方便的方式,注意是“几个数据”,因此没有Tuple1这一说。2.怎么用Tuple?val scores=Array(Tuple2(1,100),Tuple2(2,90),Tuple2(3,100),Tuple2(2,90),Tuple2(3,100))val content=sc.paralle

2017-07-03 16:12:24 3121 2

原创 JDBC,CaseClass,JSON,Parquet和Schema五种方式创建DataFrame

看了不少的wordcount程序,感觉这篇是比较好的,转载过来。点击打开链接import org.apache.spark.{SparkContext, SparkConf}/** * Created by Administrator on 2016/7/24 0024. */object WordCount { def main(args: Array[String]) {

2017-06-28 15:19:16 415 1

提示
确定要删除当前文章?
取消 删除