2016年01月_winfield821

10月 09月 08月 07月 04月 03月 02月 01月

原创在Spark 1.2.0的spark-shell中进行Hive数据库的操作

【环境配置】 Hive:0.13.1 Spark: 1.2.0 Spark和Hive都是伪分布式安装的网上有一些教程，但或者Spark版本不同，或者不够全面。其实总结起来只有三步，如下：（1）打开spark-shell spark-shell （2）建立HiveContext对象 val hiveContext = new org.apache.spark.sql.h

2016-01-18 17:55:17 735

原创基于Spark的Hive编程中，“Error:(8, 37) java: 程序包org.apache.spark.sql.api.java不存在”的解决办法

依赖Spark 1.2.0中的jar包编程时会出现这个问题，虽然这个Spark版本已较旧，但一些在旧的平台上开发的人，可能还会遇到这个问题，因此将问题的解决办法写在这里。报的错误如下图所示：其实问题本身不高深，原因就在于spark-assembly-1.2.0-hadoop2.4.0.jar这个jar包有问题。这个包实际是由org.apache.spark等许多小的packag

2016-01-18 14:34:08 6285

原创使用CDH5.3.0中Hadoop安装包进行伪分布模式安装

这样做的目的是笔者要开发一个spark程序，将来移植到用CDH5.3.0部署的集群上，但是笔者的开发环境并没有这样的集群。由于网上搜索的结果很不准确（不同版本的Hadoop安装方式不一），所以作者经过一番尝试成功安装后，将安装步骤总结如下。操作系统：Red Hat Enterprise Linux Server release 6.2 (Santiago) 一、安装Java 由于Had

2016-01-13 11:46:25 1973

使用Python的第三方库gTTS访问Google TTS服务

Google的TTS服务已经推出多时，在网上搜索国内的使用资料，大多是说要访问“http://translate.google.com/translate_tts?tl=en&q=text”这个接口。然而笔者试了一下发现，此接口目前已无法正常使用。这里给出一种非常简单的使用Google TTS服务的方法，即使用Python的gTTS库。

2017-03-28