![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lieyingkub99
算法研究员
w_chat:lieyingkub88
公众号:算法之道007
您有问题可以和我留言,一起学习交流~
展开
-
pyspark本地运行socket.gaierror: [Errno 8] nodename nor servname provided, or not known
解决方法,加一个函数即可:def patch_pyspark_accumulators(): from inspect import getsource import pyspark.accumulators as pa exec(getsource(pa._start_update_server).replace("localhost", "127.0.0.1"), pa.__dict__)patch_pyspark_accumulators()...原创 2022-04-25 18:40:39 · 379 阅读 · 0 评论 -
pyspark添加jars,存tfrecord
直接上代码:spark = SparkSession \ .builder \ .appName("MIND") \ .config('spark.jars', 'xxx/spark-tensorflow-connector_2.11-1.11.0.jar') \ .getOrCreate()xxx为路径。原创 2020-08-17 15:04:52 · 959 阅读 · 0 评论 -
Hadoop学习笔记之Hadoop基本介绍
说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代。除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许...原创 2018-07-05 00:05:10 · 343 阅读 · 0 评论