- 博客(83)
- 资源 (20)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 购买腾讯云主机后的快速配置
信息 在哪里查看 域名 微信-腾讯云助手 SSL证书审核通知 微信-腾讯云助手 域名实名结果通知 微信-腾讯云助手
2020-09-19 14:55:21
764
1
原创 中国到美国最安全的飞机航线
这里的安全仅仅考虑沿陆地飞行、尽可能少地横渡海面。因为出意外时，陆地更容易迫降。根据以下链接：http://map.variflight.com/origin可知：下面两条航线，除了需要经过白令海峡，其余的的飞行时段都是沿陆地飞行。北京首都->达拉斯沃尔斯堡北京首都->休斯顿北京首都->卡尔加里三条路线如下图：可以看到，他...
2020-09-30 18:26:02
4444
原创 jsp+tomcat程序helloworld
其实我是不想碰jsp了,毕竟是以后要淘汰的东西了.但是为了部署freemind的applet到网站,我必须先走通这一步.步骤如下:cd $TOMCAT/webappsmkdir myHometouch index.jspmkdir WEB-INFcd WEB-INFmkdir classesmkdirlib最终效果:访问http://127.0.0.1:8880/myHome/index.jsp访问http://127.0.0.1:8880/myHome/haha..
2020-09-30 13:06:31
320
原创 flink的savepoint实验-scala
大致步骤同[1]步骤 步骤内容 ① 启动Zookeeper,Hadoop,Flink(HA)三种集群(启动顺序不要错) ② 使用intellij的package功能打包 cd target flink run -c WordCount /home/appleyuchi/桌面/Flink_Code/flink_state/savepoint/Scala/target/datastream_api-1.0-SNAPSHOT.jar .
2020-09-30 00:48:43
278
原创 No plugin found for prefix ‘compile‘ in the current project
在编译flink的scala工程的时候，编译命令如下:mvn scala compile:compile package完整报错信息如下:[INFO] ------------------------------------------------------------------------[INFO] BUILD FAILURE[INFO] ------------------------------------------------------------------------
2020-09-30 00:47:54
649
原创 Error:scalac: Error: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List；
intellij包错如下:Error:scalac: Error: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List;java.lang.NoSuchMethodError: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List; at org.apache.flink.api.scala
2020-09-29 22:12:45
2374
原创 Cannot start compilation:the output path is not specifired for module “xxx“.Specify the output path
Cannot start compilation:the output path is not specifired for module "xxx".Specify the output path in the Project Structure dialog.截图如下:这段话的意思是:当前工程的文件夹结构错误．比如，我当时的错误就是，Resources Root 文件夹下面各有个Java和Scala文件夹，然后这俩个文件夹各自有一个pom.xml这样intellij就混乱了．
2020-09-29 22:03:25
1337
3
原创 flink的savepoint实验-java
前言和一些准备工作首先需要明确的是，savepoint和checkpoint不是同一类，所以在进行savepoint实验时，代码里不需要添加checkpoint enable选项等．$FLINK_HOME/conf/flink-conf.yaml中添加state.savepoints.dir: hdfs://Desktop:9000/flink-savepoints实验代码采用[2]---------------------------------------------------
2020-09-29 17:24:12
702
转载 No plugin found for prefix ‘scala‘ pom.xml
需要加入插件maven-scala-plugin <groupId>org.example</groupId> <artifactId>datastream_api</artifactId> <version>1.0-SNAPSHOT</version> <build> <plugins> <plugin> ...
2020-09-29 14:22:18
907
原创 flink web ui提交任务时出现Server Respoonse Message-Internal server error
在要submit的时候，页面弹出通知:Server Response MessageInternal server error但是没有详细信息怎么办呢？查看$FLINK_HOME/log/flink-appleyuchi-standalonesession-5-Desktop.log每次提交，都会在这个文件的末尾添加信息，所以我得到的是：2020-09-29 13:14:03,845 WARN org.apache.flink.runtime.webmonitor.hand
2020-09-29 13:14:54
7018
6
原创 Error while retrieving the leader gateway. Retrying to connect to akka.tcp://flink@laptop:xxxx
想进行query state的时候碰到了这么个问题:flink-appleyuchi-standalonesession-2-Desktop.log:2020-09-28 18:10:22,669 WARN org.apache.flink.runtime.webmonitor.retriever.impl.RpcGatewayRetriever [] - Error while retrieving the leader gateway. Retrying to connect to akka.t
2020-09-28 20:00:35
948
原创 flink中datastream和dataset各自print()的异同
根据[1] 负责输出的进程 默认能打印到提交任务的终端吗？ print()结果 输出位置 在WEB UI查看位置 批处理(DataSet) Job Manager 能 $FLINK_HOME/log/*.out Job Manager中的Stdout 流处理(DataStream) Task Manager 不能 提交任务的终端 TaskManagers中的Stdout 下面是Flink...
2020-09-28 12:21:17
1335
原创 intellij连接真实的flink集群
代码如下:https://gitee.com/appleyuchi/Flink_Code/blob/master/flink_state/src/main/scala/RemoteSubmitApp.scala运行办法:①mvn clean②mvn package③运行④新开一个终端nc -lk 9999111111111111111111这个时候intellij中是不会有任何结果的，需要到WEB UI中去查看这里...
2020-09-28 12:01:58
449
转载 SSH无密码登录：只需两个简单步骤 (Linux)
如果你管理一台Linux服务器，那么你就会知道每次SSH登录时或者使用scp复制文件时都要输入密码是一个多么繁琐的过程．这篇教程介绍使用SSH Key来实现SSH无密码登录，而且使用scp复制文件时也不需要再输入密码．除了方便SSH登录，scp复制文件外，SSH无密码登录也为Linux服务器增加了又一道安全防线．SSH无密码登录的设置步骤首先我们在自己的Linux系统上生成一对SSH Key：SSH密钥和SSH公钥．密钥保存在自己的Linux系统上。 然后公钥上传到Linux服务器．之后我们就能无
2020-09-28 09:43:22
368
原创 一键启动Zookeeper集群
本文根据[1]来改编成适合于自己的，最终代码如下:test.sh#!/bin/shecho "zookeeper start 128,129,130"ssh Desktop "source /home/appleyuchi/.bashrc;$ZOOKEEPER/bin/zkServer.sh start $ZOOKEEPER/conf/zoo_leader.cfg"ssh Laptop "source /home/appleyuchi/.bashrc;$ZOOKEEPER/bin/.
2020-09-28 09:12:50
295
原创 大数据集群某节点彻底损毁后重装系统恢复(持续更新中)
如果某个节点彻底损毁，重装系统，那么需要的步骤如下:目的 操作步骤 节点之间配置文件是否完全一致 需要各个节点分别启动 Hadoop修复 mkdir -p ~/dfs/name hadoop namenode -format start /home/appleyuchi/dfs/data/current/VERSION中的cluster-ID改成$HADOOP_HOME/logs/hadoop-appleyuchi-datanode-.
2020-09-27 21:10:16
567
原创 Caused by: java.net.BindException: Could not start rest endpoint on any port in port range 8085
这个问题是在$FLINK_HOME/bin/stop-cluster.sh以后，8085的这个端口没有被关干净导致的，强行关闭8085端口，再次重启flink集群以后，上述错误会消失。所以不是什么大问题，不用紧张。
2020-09-27 20:58:01
2371
1
原创 流计算程序不报错，但是没有输出的一些原因(持续更新中)
①集群运行后打印的内容在$FLINK_HOME/logs里面②没有print()语句③忘记写execute()④keyby()或者filter注释后重新运行⑤没有对窗口进行trigger⑥没有满足waterMark触发条件⑦没有满足window的触发条件Reference:[1]flink的datastream进行join操作没有输出结果一例...
2020-09-27 12:33:25
1619
1
原创 intellij中运行后出现Hadoop is not in the classpath/dependencies
intellij中运行check point的时候碰到了一个比较棘手的问题Hadoop is not in the classpath/dependencies版本:组件 版本号 Flink 1.12 Ubuntu 20.04 网上通用的办法是在$FLINK_HOME/lib加入一个jar包，我的版本是flink-shaded-hadoop-3-uber-3.1.1.7.0.3.0-79-7.0.jar我的办法是在intellij的pom.xml中加入下面.
2020-09-27 10:37:38
2630
原创 HTML 文档的字符编码未声明。如果该文件包含 US-ASCII 范围之外的字符，该文件将在某些浏览浏览器配置中呈现为乱码。页面的字符编码必须在文档或传输协议层声明。
在test.html文件的开头加上下面的语句（我们以test.html为例）：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Stict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><html xmlns="http://www.w3.org/1999/xhtml" lang = "zh-CN">在<head>下面加上下面的语...
2020-09-24 20:12:03
4018
原创 tomcat小实验helloworld
webapps下面新建html/index,html<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title></head>Hello World!<body></body></html>conf/server.xml的Connec...
2020-09-24 19:54:13
296
原创 流式计算中为什么需要时间戳和WaterMark
可能很多从机器学习/深度学习转向实时计算的人会有这样一种困惑？我们为啥需要时间戳/WaterMark首先，EventTime来自时间戳，以及最终构成了WaterMark，这个就不展开说了，属于基本概念。我们回顾下:我们对数据进行分布式集群分析的时候，很多时候，都是一股脑儿丢入训练框架，我们常常不care这个数据发生的时间点。但是因为在集群的多个节点中，slave和master之间的延时我们是不可控制的，并且我们在数仓的终端有出报表的需要。如果因为节点之间某些网络IO的物理..
2020-09-23 14:09:58
290
原创 网页label标签内的字体颜色修改
<style>/*div{width:100%;text-align:center;}*/label span { color: white; }</style><body><label><span>确认密码:</span></label></body>
2020-09-22 14:55:18
3059
原创 FastDfs上传图片时报错configparser.NoOptionError: No option ‘connect_timeout‘ in section: ‘__config__‘
这个问题有两个原因:①fastdfs没安装好.②/etc/fdfs/下面的配置文件都是默认的.sample文件,这种情况下就会导致这种报错.
2020-09-21 16:34:02
1204
1
原创 celery无密码连接redis与带密码连接redis
配置 代码配置 带密码 app = Celery('celery_tasks.tasks', broker='redis://:appleyuchi@127.0.0.1:6379/0') 无密码 app = Celery('celery_tasks.tasks', broker='redis://:@127.0.0.1:6379/0')
2020-09-20 22:08:43
2185
原创 云主机superset接入redis缓存
环境环境 版本 Ubuntu 18.04 apache-superset (pip install apache-superset) 0.37.1 Mysql 5.7 redis-cli 4.0.9 调研[1]提到了二级缓存[4]提到如果配置cache成功会有相关信息准备工作apt install redis(virtualenv环境)pip installredis编辑...
2020-09-20 17:51:14
2185
3
原创 ubuntu与mysql5.7设置外网可访问
①grant all privileges /etc/mysql/mysql.conf.d/mysqld.cnfbind-address = 0.0.0.0②grant all privileges on proxy.* to appleyuchi@"%" identified by "appleyuchi";(不确定这个是否有用)③service mysql restart------------------------------------------------------...
2020-09-19 19:19:21
473
转载 mysql新增用户和删除用户
如下:grant update(name,sex) on cloud to 'appleyuchi'@'%' identified by 'appleyuchi';flush privileges;查看所有用户:select user,host from mysql.user;+------------------+-----------+| user | host |+------------------+-----------+...
2020-09-19 18:51:36
221
转载 superset云主机上出现报错
报错如下:You don't have the necessary permissions to load dashboards.Please contact your administrator.解决方案:忘记在部署前输入superset init了
2020-09-19 17:52:51
987
11
原创 superset在云主机上的配置
注意这么几个点:必须是ubuntu18.10或者以下版本,必须使用virtualenv和python3.6不要杠,杠会让你浪费很多很多时间,照着上面的要求来是兼容性最少的.命令如下:pip install pillow apache-supersetsuperset run...
2020-09-19 17:23:07
287
原创 superset可视化-deck.gl 3D Hexagon与deck.gl Grid与deck.gl Screen Grid
数据集使用san_francisco左侧配置配置在这三种可视化中都是一样的:这里的Height相当于直方图中的y轴，如果改成sum(number)会导致显示效果不明显．deck.gl 3D Hexagon可视化结果deck.gl Grid可视化结果deck.gl Screen Grid可视化结果...
2020-09-18 15:21:53
1312
6
原创 superset出现A valid API access token is required to use Mapbox data
出现问题:需要去下面的网站申请一个token这个key的位置在~/anaconda3/envs/Python3.6/lib/python3.6/site-packages/superset/config.py在~/.bashrc中加入export MAPBOX_API_KEY="pk.eyJ1IjoiYXBwbGV5dWNoaSIsImEiOiJja2Y3dWMzajIwMmptMnptcnBwaHkxcXlmIn0.ZRs3vgh8DIkQrtj-b0d...
2020-09-18 15:01:02
2036
1
原创 superset可视化-deck.gl Scatterplot与MapBox
数据集注意:仔细看这里的LON和LAT哈，都有一大堆的小数，如果前面导入的设置不注意Decimal(15,10)的话，这里会全部变成122，最后可视化得到的就只有地图上的一个点了．左侧设置可视化效果...
2020-09-18 14:14:27
1182
原创 superset可视化-country map
数据集数据集来自sqlite3 (~/.superset/superset.db)自带的france_data_for_country_mapSQLselect DEPT_ID,`2014` as year from birth_france_data_for_country_map;2014是数字，不能直接作为列名，所以superset会强行要求你修改year这个名字有点误导哈，其实是想表达该年度在法国不同区域出生的数量。可视化配置效果左侧是区域缩写我们选..
2020-09-18 11:21:44
935
原创 superset可视化-world map
数据集countries.jsonSQLselect country_name,country_code,region,year,`SP.URB.TOTL` as number from countries运行SQL以后选择下面的Explore左侧配置说下为什么这么配置。country_code是数据集中的其中一列的列名。 但是由于国家的缩写有很多标准。所以下面的Country Field Type标准必须和数据集中所采用的所家缩写标准严格对应。所以对.
2020-09-18 10:25:15
576
原创 websocket的压力测试和异步并发啥关系？
这个问题我在晚上一边吃饭一边想了下。这个其实还是取决于服务器向页面推送数据的时候，是否有调用第三方API(带50ms以上延时的那种)如果调用第三方API，那么websocket的压测就和异步IO相关。如果不调用第三方API,那么websocket的压测就和异步IO无关。总结，Restful/Websocket压力测试测得的性能，无论是cpu密集还是IO密集，终究回归到哲学，一个问题的走向，是内因和外因决定的。相关入门实验可以参考https://github.com/s..
2020-09-17 20:23:48
340
ngrok-stable-linux-amd64.zip
2019-11-18
VBoxGuestAdditions_5.2.18.iso
2019-04-27
pearson证明卡方检验的原文-1900年
2018-12-07
用于ubuntu16.04下安装mongodb时缺少的库文件
2018-08-08
浙大版《概率论与数理统计》（第四版）第十一章实验数据、实验步骤与实验结果
2018-05-17
virtualbox-5.1_5.1.22-115126~Ubuntu~xenial_amd64.deb
2017-05-21
Visual Assist X 10.6.1823 破解版
2012-02-05
MSP仿真器（支持FET430PIF、FET430UIF、MSP430BSL对MSP430芯片进行编程）
2011-03-28
《半导体集成电路课》朱正涌（第二版）课后习题答案仿真（第四章）
2010-06-18
无warning无error，但不知为何没有输出的代码，求指点~
2015-09-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人