段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

12月 10月 09月 08月 07月

原创 Apache Awstats 安装配置系列（4）之 Awstats 安装配置

awstats安装配置 1. 下载awstats http://www.awstats.org/ 2.解压缩到 D:\awstats-7.4 3、初始化配置环境进入 D:\awstats-7.4\tools 执行 awstats_configure.pl文件 D:\awstats-7.4\tools>perl awstats_configure.pl 4、输入 Apache

2015-09-20 22:08:29 2073

原创第93讲(HelloActor整体介绍)：Akka第一个案例动手实战开发消息实体类

第93讲：Akka第一个案例动手实战开发消息实体类 HelloActor的整体框架及实现：一：HelloActor包括的actors： 1 AggregateActor：对最后所有ReduceActor的结果进行统计 2 MapActor：对收到的消息进行单词切分 3 MasterActor 控制器，给MapActor发字符串，要MapActor进行单词切分工作。 4 ReduceA

2015-09-20 08:37:23 896

原创第92讲：Akka第一个案例动手实战开发环境的搭建

第92讲：Akka第一个案例动手实战开发环境的搭建 1 下载安装intellij IDEA 2 IDEA 自动集成了各类插件，使用自然 DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#ca

2015-09-20 08:14:48 784

原创 Apache Awstats 安装配置系列（3）之 perl 安装

1 下载perl http://www.activestate.com/activeperl/downloads 2 也可从网络找资源安装 ActivePerl-5.16.3.1603-MSWin32-x86-296746.msi 3 点击安装程序msi ，一步步安装 4 检测 Perl 是否安装成功 5 在cmd中输入perl -v D:\Perl\bin>perl -v Th

2015-09-19 21:56:33 710

原创 Apache Awstats 安装配置系列（2）之 apache部署WEB项目（配置多个地址）

apache部署WEB项目（配置多个地址） 1、新建目录D:\Apache22\Webapps，作为web项目目录新建目录D:\Apache22\Webapps100，作为web项目目录 2、在httpd.conf 最后加上 DocumentRoot D:\Apache22\Webapps ServerName 127.0.0.1:80 Docume

2015-09-19 21:23:19 1495

原创 Apache Awstats 安装配置系列（1）

Apache Awstats 安装配置系列（1）之Apache 安装 1.下载安装 apache 2.2.31 http://www.apachehaus.com/cgi-bin/download.plx?dli=O5GbwpVaNFzTE50KhdFezBlVOpkVFVFdhZ1Z3R2Z 2、解压缩放在D:\Apache22 3、进入到apache下面的bin目录，输入 http

2015-09-19 20:33:02 1301

原创 Hadoop/spark安装实战（系列篇6）迈入SPARK新世界

Hadoop/spark安装实战（系列篇6）迈入SPARK新世界 spark 安装 1/spark 解压缩 [root@localhost setup_tools]# tar -zxvf spark-1.0.0-bin-hadoop1.tgz 2将文件移到/usr/local [root@localhost setup_tools]# mv spark-1.0.0-bin-ha

2015-09-12 22:41:53 976

原创 Hadoop/spark安装实战（系列篇5） scala安装

Hadoop/spark安装实战（系列篇5） scala安装 1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz 2将文件移到/usr/local mv scala-2.10.4 /usr/local 3配置环境变量 [root@localhost local]# vi /et

2015-09-12 22:08:40 927

原创 Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀

Hadoop/spark安装实战（系列篇4） Hadoop MapReduce词频统计之小试牛刀运行hadoop 自带的例子的MapReduce 计算 1 上传文件到hadoop的hdfs的根目录 [root@localhost hadoop-1.2.1]# hadoop fs -put README.txt / 检验 [root@localhost hadoop-1.2.1]# ha

2015-09-12 21:52:51 975

原创 Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装

Hadoop/spark安装实战（系列篇3） Hadoop 伪分布模式安装 Hadoop 的安装与配置伪分布模式安装 1/解压缩hadoop tar -zxvf hadoop-1.2.1-bin.tar.gz 2/ 将文件移到/usr/local mv hadoop-1.2.1 /usr/local 3/设置环境变量HADOOP_HOME，修改文件“/etc

2015-09-12 21:39:50 864

原创 Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录

Hadoop/spark安装实战（系列篇2）安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录 1 虚拟机的安装目录 D:\VmvareSpark\CentOS_Spark\CentOS 2 本地物理机地址 VMware Network Adapter VMnet1 192.168.2.1 虚机地址 192.168.2.100 虚拟机设置－网络适配器

2015-09-12 21:01:12 918

原创 Tomcat 监控

Tomcat 监控对Tomcat线程性能进行监控，可使用Tomcat自带的Status页面进行监控，监控方案如下： 1、修改配置文件tomcat-users，设置admin权限，在配置： 2、重启Tomcat服务，在浏览器中输入URL（http：//localhost：8080/ ），进入Tomcat status 页面 Tomcat监控内容： 1、

2015-09-11 15:48:00 1863

原创 SPARK 第4期：通过案例实战掌握spark sql（dataframe）

第4期：通过案例实战掌握spark sql（dataframe） SPARK 中使用dataframe 效率更高，比原生的scala python查询sql执行速度更快 young.registertemptable("young")sqlcontext.sql("select count(*) from young") DT大数据微信公众账号：DT_Spark

2015-09-02 21:52:34 708

原创 Scala 使用XML

1、scala允许以字面量的形式键入XML 2 xml字面量中使用花括号{}做转义符，执行SCALa代码 3、使用 \ \\ 获取标签属性属性前加@ 4、xml模式匹配任意序列 _* DT大数据微信公众账号：DT_Spark DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?

2015-09-02 21:44:12 791

原创 Hadoop/spark安装实战（系列篇1）准备安装包

下载各安装包，准备安装 CentOS 使用网盘上下载的vmvare虚拟机 centos系统 spark 1.0.0 http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz scala http://www.scala-lang.org/download/2.10.4.html java jdk jdk-7u7

2015-09-02 21:40:35 775