python
cxf_coding
这个作者很懒,什么都没留下…
展开
-
Spark streaming 整合Kafka统计词频
**Spark streaming 整合Kafka统计词频**首先,启动zookeeper然后,启动kafka创建topic启动生产者启动消费者开发Spark streaming 整合Kafka统计词频的程序from pyspark import SparkContextfrom pyspark.streaming import StreamingContextfrom pyspark.streaming.kafka import KafkaUtils'''Spark s原创 2020-05-29 19:33:00 · 1042 阅读 · 0 评论 -
Spark Streaming整合Spark SQL操作
Spark Streaming整合Spark SQL操作代码如下:from pyspark import SparkContextfrom pyspark.streaming import StreamingContextfrom pyspark.sql import Row, SparkSessiondef getSparkSessionInstance(sparkConf):if (‘sparkSessionSingletonInstance’ not in globals()):glob原创 2020-05-14 19:38:42 · 500 阅读 · 0 评论 -
sparkstreaming使用python实现黑名单过滤
sparkstreaming使用python实现黑名单过滤场景如下:zs(张三),ls(李四)在黑名单中,ww(王五)不在黑名单中。将zs,ls过滤,得出ww不在黑名单,代码如下:from pyspark import SparkContextfrom pyspark.streaming import StreamingContext#黑名单过滤#sc = SparkContext(master=“local[2]”,appName=“TransformAPP”)ssc = StreamingC原创 2020-05-13 19:28:44 · 663 阅读 · 0 评论 -
安装scrapy过程中提示Microsoft Visual C++ 14.0 is required。
#安装scrapy过程中提示Microsoft Visual C++ 14.0 is required。安装VC过程是比较漫长的,所以题主便寻求是否有更简便的方法去解决该问题。后来发现安装twisted相应的包会更便捷:twisted链接:https://www.lfd.uci.edu/~gohlke/pythonlibs/在安装该包时,首先要自查Python编译器的版本,是3.5or3...原创 2019-11-11 18:29:29 · 97 阅读 · 0 评论 -
使用Python将多个excel的多个sheet页合并到一个excel
使用Python将多个excel的多个sheet页合并到一个excel##读取Excel文件import xlrd##将文本写入excel文件import xlsxwriter##读取excel文件def getexcel(excel):f=xlrd.open_workbook(excel)return f##获取excel中的所有sheet表def getsheet(exc...原创 2019-12-03 11:21:35 · 3438 阅读 · 0 评论