段智华的博客

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行，欢迎关注访问！

12月 10月 09月 08月 07月

原创第91讲：Akka第一个案例动手实战架构设计

第91讲：Akka第一个案例动手实战架构设计以wordcount为案例actor架构1 master actor 主控 2 map actor map计算3 reduce actor reduce 汇总 4 aggregate aggregate 合并 DT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码在百度

2015-08-22 12:31:37 640

原创第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕

第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕 sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://

2015-08-22 12:21:19 998

原创第2期Spark纯实战公益大讲坛：通过案例实战掌握Spark编程模型内幕

第2期Spark纯实战公益大讲坛：通过案例实战掌握Spark编程模型内幕运行spark代码：sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).sortByKey(false).map(x=>(x._2),x._1)).saveASTextFil

2015-08-22 12:12:49 832

原创第1讲Spark纯实战公益大讲坛：通过案例实战掌握高可用HA下的Spark集群部署

第1讲Spark纯实战公益大讲坛：通过案例实战掌握高可用HA下的Spark集群部署 spark 网站 spark集群配置 spark源码初了解 DT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&vi

2015-08-22 12:09:47 856

原创第90讲：基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验

第90讲：基于Scala的Actor之上的分布式并发消息驱动框架Akka初体验1 AKKA的重大意义2 akka 与scala的actorDT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category

2015-08-22 12:02:36 562

原创第89讲：Scala中使用For表达式实现内幕思考

第89讲：Scala中使用For表达式实现内幕思考object For_Advanced { def main(args: Array[String]) {} def map[A, B](list: List[A], f: A => B): List[B] = for(element def flatMap[A, B](list: List[A], f:

2015-08-22 11:31:16 522

原创第88讲：Scala中使用For表达式实现map、flatMap、filter

第88讲：Scala中使用For表达式实现map、flatMap、filterobject For_Advanced { def main(args: Array[String]) {} def map[A, B](list: List[A], f: A => B): List[B] = for(element def flatMap[A, B](list

2015-08-22 11:22:07 814

原创第87讲：Scala中使用For表达式做查询

第87讲：Scala中使用For表达式做查询case class Book(title : String , authors : List[String])object For_Query { def main(args: Array[String]) { val books: List[Book] = List( Book("Structure and Inte

2015-08-22 11:17:27 527

原创第86讲：Scala中For表达式的生成器、定义和过滤器

第86讲：Scala中For表达式的生成器、定义和过滤器for 生成器定义及过滤器分析及实战val forResult =for (person yield (person.name,child.name)println(forResule) 说明：for yield 生成器 name=person.name 定义if !person.ismale 过

2015-08-16 15:07:53 541

原创第85讲：Scala中For表达式的强大表现力实战

第85讲：Scala中For表达式的强大表现力实战1 高阶函数对列表处理的表现力实战2 FOR 表达式的强大而简洁的表现力val forResult =for (person yield (person.name,child.name)println(forResule) DT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码

2015-08-16 15:03:33 552

原创第84讲：Scala中List和ListBuffer设计实现思考

第84讲：Scala中List和ListBuffer设计实现思考1 list的设计实现思考2 listBuffer设计实现 listBuffer高效final case class ::[B](private var hd:b,private[scala] var t1:List[B] extends List[B] ){override def head :B=hdov

2015-08-16 14:51:54 629

转载第83讲：Scala中List的实现内幕源码揭秘

本讲视频是王家林老师通过认真解读scala源码的方式讲解了《Scala中List的实现内幕源码揭秘》。本讲内容如下：ListBuffer（链表缓存）相当于List的一个工具类，List本身继承ListBuffer，拥有ListBuffer中非私有的方法。对List的操作其实有部分是通过ListBuffer完成的。exported为LiftBuffer中flag（default:fals

2015-08-16 14:41:10 705

转载第82讲：Scala中List的ListBuffer是如何实现高效的遍历计算的？

本视频由王家林老师通过代码实战的方式深入浅出的讲解了Scala中List的ListBuffer是如何实现高效的遍历计算的。本视频的主要内容如下：List与ListBuffer和java中的String与StringBuffer的设计很相似，List与String设计默认是不可变的，var list = List[XX]形式生成的list虽然有var作修饰，但类型认为immutable，向其中添加元

2015-08-16 14:40:10 606

转载第81讲：Scala中List的构造是的类型约束逆变、协变、下界详解

本视频由王家林老师采用代码案例实战的方式详细讲解了“Scala中List的构造是的类型约束逆变、协变、下界”。视频的知识点包括两大内容：一，List的::和:::详解二，List中的逆变、协变和下界在scala的DOS编辑窗口下分别定义抽象类Big_Data和Big_Data的子类Hadoop、Spark ，代码如下：scala> abstract clas

2015-08-16 14:38:14 491

原创 scala List的泛型分析以及：：类和Nil对象

第80讲：List的泛型分析以及：：类和Nil对象Nil 继承 List[Nothing]:: contains DT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&q

2015-08-15 22:45:59 475

原创 windows 组策略编辑器不能打开 mmc无法创建管理单元

出现“mmc无法创建管理单元怎么办”的问题，主要是计算机环境变量该改动造成的。在path中增加%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\system32\WBEM 然后打开命令提示符，运行命令“gpedit.msc”打开组策略编辑器

2015-08-15 21:03:37 2213 3

原创 windows 计划任务中使用脚本备份文件

windows 计划任务备份文件C:\Users\admin>echo %date:~0,4%%date:~5,2%%date:~8,2%20150813C:\Users\admin>echo %date%2015/08/13 周四echo %date%%date:~0,4% 取date文件，从第0位开始往后取4位，即年份的阿拉伯数字； %date:~5,2% 从第

2015-08-13 12:14:41 684

原创 python matplotlib 实战安装初体验

相比pychart，使用matplotlib更合适。1、网上下载matplotlib-1.1.0.win32-py2.7.exe 下载地址为 http://matplotlib.org/downloads.html numpy-1.8.1-win32-superpack-python2.7.exe 2、之前在笔记本电脑path中定义了两个pytho

2015-08-09 21:17:55 4030

原创 python pychart图表初安装

python的启动：有环境变量直接启动；没有配置环境变量 cd G:\python test\Python27中启动pychart图表尝试：1、python 配置环境变量 set查看path2、下载 pychart http://home.gna.org/pychart/3、进入pychart目录使用python安装 "pyt

2015-08-09 08:35:27 3292

原创 scala第79讲：单例深入讲解及单例背后的链式表达式

scala 79 单例深入及单例背后的链式表达式 this.type = this jvm.method1.method2jvm调用父类的method1方法，返回jvm自身，再调用jvm的method2方法。不使用this.type，调用method2会出错DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度

2015-08-08 21:47:34 566

原创 scala第78讲：Type与Class实战详解

scala 78 TYPE CLASS 区别type更详细class更高级class sparktrait hadoopclass java{ class scala}println(typeof[spark])println (classof[spark])

2015-08-08 21:42:26 478

原创 scala 第77讲：模式匹配下的提取器动手构造实战

scala 77 模式匹配下的提取器动手构造 (1 to 9).tolist match {case _ :> 9 => println("hello scala")} DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/ho

2015-08-08 21:35:15 521

原创 scala 第76讲：模式匹配下的赋值语句

76：模式匹配下的赋值语句val a@b =1000 @定义别名scala> val a@b =1000a: Int = 1000b: Int = 1000scala> ares1: Int = 1000scala> bres2: Int = 1000 DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT

2015-08-08 21:29:49 444

原创 scala 第75讲：模式匹配下的For循环

For 循环的模式匹配1、@能定义别名2、（K,V）能模式匹配提取K值fot (index@"flink: DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/t

2015-08-08 21:24:31 472

原创 CISCO ACL 限制ip及端口配置

在思科交换机上配置，限制访问的地址及端口access-list 150 deny tcp any host 192.168.0.1 eq wwwaccess-list 150 deny udp any host 192.168.0.1 eq wwwaccess-list 1150 permit ip any any以下配置将出错，ip 无端口access

2015-08-06 19:22:51 19065

原创 SER-U ftp服务器的配置

SER-U ftp服务器的配置：定于域名、IP地址、端口、ftp地址、读取权限FTP端口的开放：1、控制层面，ftp 默认21端口建连接控制消息，客户端连服务器端212、数据层面，服务器动态随机申请端口，与客户端进行数据传送。网络设备配置：开放ftp控制及数据传送端口。否则会遇到ftp能建立连接，但不能浏览目录及传送文件的问题。主动（PORT）模式：PORT

2015-08-04 12:28:30 2062

原创 scala GUI界面开发

70：GUI界面，沿用父类的main入口方法。定义mainframe，显示button72：gui, listenTo,reactions+= 匹配点击事件 “+=”向reactions中添加处理器，使用“-=”从中移除处理器。73：GUI，文件选择器74：从spark看模式匹配，worker send ! 信息 master模式匹配接收 DT大数据微信公

2015-08-03 19:37:01 1771

原创 scala隐式转换及并发

60讲：隐式参数，定义缺省值。61：隐式转化，使用ORDERED比较。62：predefs 定义了order63：隐式类转换 1.addx(2)64:隐式对象65：隐式类：使用伴生对象定义隐式转换，可不用import规则：使用implicit关键字；唯一标识，唯一调用66:scala并发基于actor机制，AKKA框架应用，基于消息传送无任何资源共享。JA

2015-08-02 15:36:51 445

原创 Scala中隐式转换初体验实战及spark中应用

定义一个隐式转换函数，dzhdouble2int，将double转换为int，这样编译器搜索到了从double到int的隐式转换，不再报错。隐式转换在spark运用广泛，如implicit def rddtopairrddfunction等 C:\Users\admin>scalaWelcome to Scala version 2.10.4 (Java HotSpot(TM

2015-08-01 11:00:56 753