2018年02月_tiweeny

原创【分布式编程】四——Pycharm运行Python版Spark程序

前言此前搭建成功分布式Spark环境，此文介绍使用Pycharm运行Python语言的Spark程序。操作步骤安装Pycharm点击下载。过程与安装Intellij IDEA类似，在此不在赘述。进入到安装目录下执行./bin pycharm-sh配置运行环境创建新项目新建一个Python文件，这里命名为main.pyfrom pyspar

2018-02-07 11:13:48 1615

原创【分布式编程】三——基于VirtualBox的Spark完全分布式环境

前言Spark的搭建依赖于Hadoop，因此本文基于之前分布式Hadoop环境，JDK、Hadoop等已安装好，系统环境虚拟机：VirtualBoxLinux：Ubuntu 16.04 LTSHAdoop 2.7.5IDE：Intellij IDEAJDK 1.8.0_151Scala-2.12.4Spark-2.2.1操作步骤安装Scala

2018-02-07 11:13:26 784

原创【分布式编程】二——基于Hadoop的MapReduce程序

此前配置好分布式Hadoop环境，此篇主要讲解通过Intellij IDEA编写分布式MapReduce程序以及利用Hadoop实现词频统计系统环境虚拟机：VirtualBoxLinux：Ubuntu 16.04 LTSHadoop 2.7.5IDE：Intellij IDEA JDK 1.8.0_151 安装Intellij及破解安装Intellij IDE

2018-02-07 11:12:40 1681

原创【分布式编程】一——基于VirtualBox的Hadoop完全分布式环境搭建

系统架构虚拟机环境：VirtualBoxLinux系统：Ubuntu 16.04 LTS工具包JDK1.8Hadoop 2.7.5 拓扑结构：如下操作步骤【注】本步骤以Master为例，其他虚拟机可以使用克隆功能复制，然后更改安装常用软件安装vimsudo apt-get install vim安装工具包设置共享文件夹

2018-02-07 11:12:02 1713

原创【汽车口碑分析】3.爬取汽车评论数据

环境配置Ubuntu 16.04Python 3.5技术框架Scrapy需求目标本项目为汽车口碑分析，第一步需要爬取对于不同车型的评论数据。选择58车的车型分类爬取评论数据。爬取流程先获取每个车型的链接，以下图中红框内的车型为例打开链接后，抓取下图红框中的总评分，写入文件中。写入总评分后，通过拼接链接进入该车型的用户评论页面。

2018-02-07 11:11:09 3519

原创【Python Trick】Python的switch-case实现

前言在Python中，并没有实现switch-case语句，通过if-elif实现会显得麻烦，因此通过以下方式实现该语句功能。实现方式通过字典实现以如下情景为例，将百分制分数转换为五分制分数。如100%转换为5，80%转换为4等。 def foo(score): return { '100%':5,

2018-02-07 11:10:19 467

原创 Hexo主题之NextD

简介本次更改的主题为NextD，一款基于NexT而修改的主题。集成Gitment评论系统点击https://github.com/settings/applications/new注册填写内容Application name随便填写Homepage URL填写你的个人博客域名如https://tianwenyu.github.io。【注】前面的https

2018-02-07 11:05:56 570

原创 Windows中CMD命令之Tree生成目录

作用以图形显示驱动器或路径的文件夹结构格式tree [path] [/f] [/a]#/f 显示每个文件中文件的名称#/a 使用ASCII字符，而不使用扩展字符样例tree C:\Users\Administrator\.android /f >F:\path\android-tree.txt

2018-02-07 11:04:18 8047

tiweeny的博客