- 博客(22)
- 收藏
- 关注
RSS订阅原创 Flink on Yarn实战
使用方式：flink的安装包解压之后，即可直接使用，而不需要额外的配置。 参考：flink部署说明文档01 几点结论1.yarn-session的方式，只能在运行了yarn-session.sh -d的机器上，才能通过命令行提交flink作业，因为flink run的时候需要根据/tmp/.yarn-properties-appuser这个文件的内容找到session 使用echo "stop" | ./bin/yarn-session.sh -id application_1...
2021-10-31 22:29:00
1186
原创 Centos7安装mysql5.6、mysql5.7和mysql8多个版本并共存
参考：win10同时安装mysql5.6、mysql5.7以及mysql8多个版本下载安装包下载地址：https://downloads.mysql.com/archives/community/注意，不要下载RPM包，而是下载编译好的二进制包，如下图：解压并重命名...
2021-10-31 17:20:41
1910
原创 解决VMware虚拟机无法访问主机mysql的问题
mysql已经开启了允许远程登录那么虚拟机却无法访问，那大概率是主机防火墙的原因验证端口是否能访问发现3306端口可以访问，而3308端口无法访问主机防火窗设置允许访问windows 安全中心->防火墙和网络保护->高级设置入站规则->新建规则端口选择下一步，然后输入 3308，之后一直下一步，规则名字定为 forVMware。最终如下所示：验证发现可以访问了！...
2021-10-31 01:51:38
2585
原创 win10同时安装mysql5.6、mysql5.7以及mysql8多个版本
说明win10电脑中已经安装了mysql5.6，因为flink-cdc只支持5.7和8.0以上的mysql版本。因此在本地电脑同时安装多个版本的MySQL。正文下载 MySQL 所需要的安装包 网址：https://downloads.mysql.com/archives/community/以5.7.35版本的为例。下载安装包：下载解压假如解压到D:\ProgramData增加配置文件在两个本地的目录下，分别新增 my.ini ...
2021-10-31 01:36:10
1249
原创 Hive实战：HiveServer2、HiveMetastore、Beeline与hive-site.xml配置文件的关系
Metastore是元数据服务HiveServer2是用于提供JDBC访问的服务端Beeline是使用JDBC的方式访问HiveServer2的客户端hive-site.xml是hive的配置文件，需要注意的是，不管是服务端还是客户端，均是从hive-site.xml读取配置项。因此，在配置hive-site.xml时，要注意配置项是用于服务端的还是客户端的。1.Metastore与Hive-site.xml主要关注的配置项：hive.metastore.uris<.
2021-08-03 01:14:51
1697
原创 Flink报错 Cannot reference field by field expression on GenericType
报错信息如下：Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType<cn.fancychuan.SensorReading>Field expressions are only supported on POJ
2021-07-28 02:06:38
1913
原创 【虚拟机上的centos】maven编译的时候报文件名过长的错误 Compilation failure (File name too long)
报错信息如下：INFO] BUILD FAILURE[INFO] ------------------------------------------------------------------------[INFO] Total time: 01:15 min[INFO] Finished at: 2019-09-06T00:42:41-07:00[INFO] ------...
2019-09-06 19:11:19
1118
原创 superset个性化配置及权限调整
superset默认使用的默认数据库是sqlite，我们要改成mysql(superset_env) [appuser@hadoop03 ~]$ vim .conda/envs/superset_env/lib/python3.6/site-packages/superset/config.py QLALCHEMY_DATABASE_URI = 'mysql://user:passwo...
2019-09-06 19:00:17
3288
原创 superset连接hive时报sasl错误
superset通过hive://hadoop:hadoop@hadoop03:10000/default?auth=LDAP 访问hive的时候报错Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found原因是superset运行的机器上缺少相关依赖【解决方...
2019-08-07 11:43:33
1023
1
原创 superset0.28.1安装、初始化、运行以及相关错误解决
【安装方法】# 1. 创建虚拟环境并指定python版本： conda create -n superset_env python=3.6# 2. 直接安装supersetpip install -i https://pypi.tuna.tsinghua.edu.cn/simple superset# 期间可能安装失败，比如prison提示失败，那么单独装上prisonpip...
2019-07-23 11:20:29
5170
2
原创 Oozie出错任务日志追踪思路技巧
几个概念的关系：workflow > application > job > task > attempt【sqoop推送失败排查案例】 任务地址：http://hadoop01:8888/oozie/list_oozie_workflow/1808668-190626194816577-oozie-oozi-W/=============...
2019-07-04 17:47:59
1384
原创 Spark报错：No applicable constructor/method found for ... 常见类型和解决方法
在学习SparkSQL的自定义聚合函数时，遇到了各种No applicable constructor/method found for的错误。【错误一】No applicable constructor/method found for actual parameters "long"; candidates are: "public void common.Employee.setAge...
2019-04-22 21:00:05
3802
原创 Kafka无法发送消息到broker的细节解读
Kafka的java API模拟生产者发消息（带回调）。执行下面的函数控制台会立刻结束返回，但是并不会打印出回调函数返回的内容，而且消费者也无法消费到数据。public class NewProducerCallback { public static void main(String[] args) throws InterruptedException { Pro...
2019-04-11 23:19:57
821
原创 maven工程下使用pyspark报错: key not found: _PYSPARK_DRIVER_CONN_INFO_PATH
使用IDEA，安装了python插件，在Maven工程中使用pyspark。执行下面这段代码的时候报错# -*- encoding: utf-8 -*-"""Created on 16:07 2019/4/9@author: fancyChuan@email: 1247375074@qq.com@desc: 向spark传递函数 示例"""from pyspark im...
2019-04-09 18:16:46
2164
原创 java数据赋值的多种情况细节解读
java数据赋值时，不同的形式不同的赋值细节 public static void testArrayAssign() { String[] args = {"hello", "world", "hhh"}; Object[] objs0 = args; Object objs1[] = args; Object objs...
2019-03-28 14:59:57
771
原创 使用windows的别名随时随地执行python2、python3命令
当系统同时按照python2，python3时，打开CMD，想随意执行Python2，python3就显得要有点无力了。网上有很多人直接简单粗暴的把python.exe改为python2.exe或者python3.exe，虽然也能解决问题，但是总感觉不够优雅。【解决思路】我们可以直接输入python.exe的绝对路径来打开相对应的python终端，那么就可以通过设置别名来达到目的。win...
2019-03-25 18:40:47
1517
1
原创 django文件图片上传部署异常
使用django的ImageField实现图片的上传功能，在本地开发测试通过，但是部署到Apache的时候，就报500的错误。[Wed Sep 12 16:30:19 2018] [notice] Apache/2.2.15 (Unix) DAV/2 mod_wsgi/4.6.4 Python/3.6 configured -- resuming normal operationsExcep...
2018-09-12 19:01:03
1054
原创 【疑问】Chrome浏览器和firefox浏览器在追踪http时居然不同
在模拟登录的时候，使用浏览器的开发者模式跟踪浏览器和服务器的交互。发现，Firefox和Chrome的交互逻辑和顺序居然不一样。如上图是Firefox的，直接在访问1的时候，重定向到2，2直接重定向到3。而如下图是Chrome的，却是在访问了1也就是4以后，重定向到5。从5的HTML中提取出6的url，访问后再重定向到7也就是3。从上面的逻辑看，Chrome
2017-11-29 15:38:44
617
原创 python在不同系统下的中文编码问题
上周在做QQ邮箱的模拟登录，在调用邮件查找接口的时候，遇到了查询字符串下中文编码的问题，本质是python2环境下中文编码的问题。WindowsWindows下通过CMD打开python终端，默认的编码方式是gbk。C:\Windows\System32>pythonPython 2.7.13 |Anaconda 4.4.0 (64-bit)| (default, May 11 2017, 13:
2017-11-27 17:19:06
452
原创 【爬虫】python解决QQ邮箱查询接口的中文编码问题
使用Python的requests来模拟登录QQ邮箱后进行邮件查找。因为requests的get方法支持params参数，能自动编码查询字符串。而且默认的是utf-8编码QQ邮箱邮件搜索接口 def _searchCredit(self, filter_name): url = 'https://mail.qq.com/cgi-bin/mail_list'
2017-11-24 19:00:22
1551
原创 windows下安装OSMnx用于处理OSM数据
安装方法：1. 使用conda（anaconda自带的包管理器，强烈建议按照anaconda作为python开发环境）。conda install -c conda-forge osmnx注意这个命名是直接在当前的conda环境下安装的，会对当前环境的anaconda各种包做更改，强烈建议创建一个虚拟环境安装osmnx。详细步骤如下：【完整安装过程】# 1. 创建...
2017-04-01 18:07:33
10310
24
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人