GulfMoon

read_excel 读取方式依赖包pip3 install xlrd1.0版本import pandas as pdio = r'E:\Desktop\jupyter_data\test.xlsx'data = pd.read_excel(io,sheet_name = 'sheet1')报错1：OSError: [Errno 22] Invalid argument: '\u202aE原因：通过test文件右键属性，复制的文件全路径，如下：复制的内容：‪E:\Desktop\j

Centos7安装超级账本Hyperledger Fabric 1.4.1

一、报错通过"pip install jupyter"安装jupyter时候，报错如下：\lib\site-packages\pip\_vendor\urllib3\response.py", line 397 ......在之前的笔记本上一直是使用这个命令安装的也没有出错，https://blog.csdn.net/u011817217/article/details/86715...

笔者之前写过一篇关于Spark SQL外部表的比较全面的学习实验博客，参https://blog.csdn.net/u011817217/article/details/92403843本篇旨在描述和总结在实际工作中使用Spark SQL外部表遇到的一些问题以及相应的解决方案。一、需求描述外围系统通过文件接口的方式定期给一份数据文件，关于接口描述和数据文件示例如下：1. 文件接口...

近日在学习Kafka源码的时候，对代码中 .toSeq: _*的语法不是很理解，于是在scala shell中做了几次尝试，理解了其中的用法含义。1. 源码topicRegistry的数据结构：2. 尝试1）Seq(1,2,3,4)回到源码查看topicRegistry的数据结构，发现调用toSeq方法的数据结构是元组的List，而且语法:_*是在Map()构造函数...

一、背景工作中在使用Scala语言开发大数据应用项目的时候，需要将工程打成assembly包（依赖的第三方jar会打到生成的jar包中），通过spark-submit命令提交作业。Scala项目是通过Maven构建和管理其依赖，那么需要pom文件中使用哪些插件才能将工程打成assembly包呢？二、plugins1.maven-compiler-plugin如果不指定代码要...

一、jar命令用法 -c 创建新的归档文件　-t 列出归档目录和文件　-x 解压缩已归档的指定（或所有）文件　-u 更新现有的归档文件　-v 在标准输出中生成详细输出 / 提供更详细输出信息　-f 指定归档文件名 / 为压缩包指定名字　-m 包含指定清单文件中的清单信息　-e 为捆绑到可执行 jar 文件的独立应用程序指定应用程序入口点　-0 仅存储，...

一、使用需求工作中经常会需要与外围系统打交道，由于外围系统和本系统不处于同一个Hadoop集群下，且不具有访问本系统的权限，所以基本上大数据量的接口都是以文件的方式进行传输。如何快速、便捷的将文件入Spark库中？通过SparkSQL中创建外部表的方式就能够很好地解决这一需求。二、解决方案1. hdfs上创建存放外部表数据文件的目录hdfs dfs -mkdir -p /hu...

一、报错信息Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'concat_ws(,,(hiveudaffunction(HiveFunctionWrapper(org.apache.hadoop.hive.ql.udf.generic.GenericUDAFCollectSet...

一、问题背景因现场项目临近上线，在现场测试环境部署后台程序时候出现各种奇怪的问题，这些都是在公司内部测试环境都没有遇到过的，很有记录下来的必要。Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中，以yarn-client模式提交执行报错：Exception in thread "main" java.sql.SQLException: No suitable ...

一、何为依赖冲突Maven的依赖机制会导致Jar包的冲突。举个例子，现在你的项目中，使用了两个Jar包，分别是A和B。现在A需要依赖另一个Jar包C，B也需要依赖C。但是A依赖的C的版本是1.0，B依赖的C的版本是2.0。这时候，Maven会将这1.0的C和2.0的C都下载到你的项目中，这样你的项目中就存在了不同版本的C，可能会出现两种情况：1.A和B引用的C版本相同,这时按照pom定义...

Visual Studio Code是一款轻量级的文档编辑器和资源管理工具，笔者之前一直使用Notepad++作为Shell脚本的编辑器，但是存在一个痛点就是分散在不同路径下的Shell脚本文件很难集中起来管理，也不能进行跨文档内容搜索。虽然可以通过IDEA来实现这个需求，但未必有点炮轰蚊子的感觉了。本文从Visual Studio Code的下载安装、插件、快捷键、工作区等方面逐一介绍。...

一、需求在兼容Hive技术的前提下，推进SparkSQL技术的使用，那么就会衍生出一个问题：如何让Hive和SparkSQL数据共享？，比如在Hive中操作，然后在SparkSQL中能够看到变化，反之亦然。注意：记住一个前提，先使用Hive在先，后引入SparkSQL，笔者在操作过程中发现了一个问题，之前SparkSQL中的数据会看不到，只能看到Hive中的，这个问题有待进一步研究。H...

一、Hive安装1. 官网下载hive安装包并解压；2. 修改环境变量vim ~/.bash_profileexport HIVE_HOME=export PATH=$PATH:$HIVE_HOME/binsource ~/.bash_profile3.执行hive --version4. 配置hive-env.shcp $HIVE_HOME/conf/...

按照博文https://blog.csdn.net/u011817217/article/details/88813874 安装Hive，在启动Hive并show databases时，报错：Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxExcept...

一、官方文档说明http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml二、参数说明1.fs.defaultFS比如：hdfs://streamcluster2.hadoop.tmp.dir不配置的话是有默认值的，但是/tmp目...

一、问题背景Shell脚本A中编写了提交Spark作业的命令（spark-submit ...），Shell脚本B作为统一调度脚本中间调用了脚本A，但是作业并没有提交yarn，查看日志信息如下：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set二、分析过程1. 查看Spark当前版本...

一、报错信息在Spark集群中的某台机器上执行spark-shell命令时，报错信息如下：19/02/18 10:41:53 INFO retry.RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over rm...

1. 安装PythonPython多版本兼容，请移步：https://blog.csdn.net/u011817217/article/details/86605178 2. pip install jupyter1）先查看Python的默认版本从上图可以看出，Python37是默认的，因为排在第一位。2）cd c:\Python37\Scripts3）验证是否安装...

目前工作中，使用的版本管理工具为Subversion，聊到SVN肯定离不开TortoiseSVN（小乌龟）。通过小乌龟我们可以很方便的更新和提交代码文件，但是在实际开发中我们都是使用集成开发工具，比如IDEA，那么在IDEA中修改了代码，如何快捷的提交呢？而不是回到代码文件所在目录，使用小乌龟去提交。且看下文：1. 安装TortoiseSVN注意：一定要勾选 Command Line2...