段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

12月 10月 09月 08月 07月

原创 Apache Awstats 安装配置系列（4）之 Awstats 安装配置

awstats安装配置1. 下载awstatshttp://www.awstats.org/2.解压缩到 D:\awstats-7.43、初始化配置环境进入 D:\awstats-7.4\tools 执行 awstats_configure.pl文件D:\awstats-7.4\tools>perl awstats_configure.pl4、输入 Apache

2015-09-20 22:08:29 2071

原创第93讲(HelloActor整体介绍)：Akka第一个案例动手实战开发消息实体类

第93讲：Akka第一个案例动手实战开发消息实体类HelloActor的整体框架及实现：一：HelloActor包括的actors：1 AggregateActor：对最后所有ReduceActor的结果进行统计2 MapActor：对收到的消息进行单词切分3 MasterActor 控制器，给MapActor发字符串，要MapActor进行单词切分工作。4 ReduceA

2015-09-20 08:37:23 895

原创第92讲：Akka第一个案例动手实战开发环境的搭建

第92讲：Akka第一个案例动手实战开发环境的搭建1 下载安装intellij IDEA2 IDEA 自动集成了各类插件，使用自然 DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#ca

2015-09-20 08:14:48 781

原创 Apache Awstats 安装配置系列（3）之 perl 安装

1 下载perlhttp://www.activestate.com/activeperl/downloads2 也可从网络找资源安装 ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi3 点击安装程序msi ，一步步安装4 检测 Perl 是否安装成功5 在cmd中输入perl -vD:\Perl\bin>perl -vTh

2015-09-19 21:56:33 709

原创 Apache Awstats 安装配置系列（2）之 apache部署WEB项目（配置多个地址）

apache部署WEB项目（配置多个地址）1、新建目录D:\Apache22\Webapps，作为web项目目录新建目录D:\Apache22\Webapps100，作为web项目目录2、在httpd.conf 最后加上 DocumentRoot D:\Apache22\Webapps ServerName 127.0.0.1:80 Docume

2015-09-19 21:23:19 1492

原创 Apache Awstats 安装配置系列（1）

Apache Awstats 安装配置系列（1）之Apache 安装1.下载安装 apache 2.2.31http://www.apachehaus.com/cgi-bin/download.plx?dli=O5GbwpVaNFzTE50KhdFezBlVOpkVFVFdhZ1Z3R2Z2、解压缩放在D:\Apache223、进入到apache下面的bin目录，输入http

2015-09-19 20:33:02 1300

原创 Hadoop/spark安装实战（系列篇6）迈入SPARK新世界

Hadoop/spark安装实战（系列篇6）迈入SPARK新世界 spark 安装1/spark 解压缩[root@localhost setup_tools]# tar -zxvf spark-1.0.0-bin-hadoop1.tgz2将文件移到/usr/local[root@localhost setup_tools]# mv spark-1.0.0-bin-ha

2015-09-12 22:41:53 974

原创 Hadoop/spark安装实战（系列篇5） scala安装

Hadoop/spark安装实战（系列篇5） scala安装1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz2将文件移到/usr/local mv scala-2.10.4 /usr/local3配置环境变量[root@localhost local]# vi /et

2015-09-12 22:08:40 926

原创 Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀

Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀运行hadoop 自带的例子的MapReduce 计算1 上传文件到hadoop的hdfs的根目录[root@localhost hadoop-1.2.1]# hadoop fs -put README.txt /检验[root@localhost hadoop-1.2.1]# ha

2015-09-12 21:52:51 974

原创 Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装

Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装 Hadoop 的安装与配置伪分布模式安装1/解压缩hadoop tar -zxvf hadoop-1.2.1-bin.tar.gz2/ 将文件移到/usr/localmv hadoop-1.2.1 /usr/local3/设置环境变量HADOOP_HOME，修改文件“/etc

2015-09-12 21:39:50 863

原创 Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录

Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录1 虚拟机的安装目录 D:\VmvareSpark\CentOS_Spark\CentOS2 本地物理机地址 VMware Network Adapter VMnet1 192.168.2.1 虚机地址 192.168.2.100 虚拟机设置－网络适配器

2015-09-12 21:01:12 910

原创 Tomcat 监控

Tomcat 监控对Tomcat线程性能进行监控，可使用Tomcat自带的Status页面进行监控，监控方案如下： 1、修改配置文件tomcat-users，设置admin权限，在配置： 2、重启Tomcat服务，在浏览器中输入URL（http：//localhost：8080/ ），进入Tomcat status 页面Tomcat监控内容：1、

2015-09-11 15:48:00 1861

原创 SPARK 第4期：通过案例实战掌握spark sql（dataframe）

第4期：通过案例实战掌握spark sql（dataframe） SPARK 中使用dataframe 效率更高，比原生的scala python查询sql执行速度更快 young.registertemptable("young")sqlcontext.sql("select count(*) from young") DT大数据微信公众账号：DT_Spark

2015-09-02 21:52:34 704

原创 Scala 使用XML

1、scala允许以字面量的形式键入XML2 xml字面量中使用花括号{}做转义符，执行SCALa代码3、使用 \ \\ 获取标签属性属性前加@4、xml模式匹配任意序列 _* DT大数据微信公众账号：DT_SparkDT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?

2015-09-02 21:44:12 790

原创 Hadoop/spark安装实战（系列篇1）准备安装包

下载各安装包，准备安装CentOS 使用网盘上下载的vmvare虚拟机 centos系统spark 1.0.0http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgzscalahttp://www.scala-lang.org/download/2.10.4.htmljava jdk jdk-7u7

2015-09-02 21:40:35 774