远涉江湖-CSDN博客

原创 flink 1.11.2 编译 hadoop3.0 CDH6.3

环境准备：1. maven 安装、修改阿里源获取源码git clonehttps://github.com/apache/flinkgit tagsgit checkoutrelease-1.11.2 #最新的tag开始编译cd flink# CDH6.3 使用的 hadoop 版本是 3.0.0mvn clean package -DskipTests -Dhadoop.version=3.0.0遇到错误：[INFO] BUILD F...

2020-10-23 15:54:23 1450 1

原创树莓派4B 折腾的意义

突然萌生买树莓派的想法，做点好玩的事情烧了原生系统，安装了dashboard，可以看系统监控数据担心2G不够用，但4G要420左右，咸鱼上看了有加内存服务，直接跟店家买了一个他升级好的，才300块。可惜给我寄过来的电源是 5V2A的，不过用了几天感觉不错今天用胶水把屏幕后面的驱动电路板固定下来，后面可以放客厅当作智能家居的中央系统展示...

2021-03-07 22:15:02 519

原创在Mac电脑上安装使用kafka zookeeper

在Mac电脑上安装使用kafka使用kafka需要先安装zookeeper作为注册中心，在Mac上可以先安装homebrew然后再使用homebrew作为工具安装kafka和zookeeperbrew install kafkabrew install zookeeper进入 /usr/local/Cellar下分别启动kafka和zookeeper启动命令为zookeeper命令为zookeeper-server-start startkafka的各种命令为Kafk

2020-11-02 18:57:59 399

原创 Maven 创建Flink 项目，演示DataStream API

设置Maven项目编写Flink程序练习：在群集上运行并写入Kafka在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现，但它将为您提供一个良好的基础，从而开始自己...

2019-04-16 15:01:55 2651

转载 Flink 应用场景

应用场景Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心...

2019-04-15 10:48:42 2100

原创 Flink 的 Batch 批处理例子 Word count 入门

Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。这篇文章先介绍 Batch例子Word CountWordCounts 是大数据系统处理中的入门案例。它从一个文本集合中计算单词出现的频率。这个算法分成两个步骤：第一步：文本 split 切分成独立的单词第二部：分组和统计Sc...

2019-04-13 18:43:11 3805 1

原创 Flink 学习笔记 - 本地安装

本地化部署教程步骤: 下载和启动 Flink 本地模式阅读代码运行例程通过一些简单的步骤运行一个Flink的例子Setup: Download and Start FlinkFlink runs on Linux, Mac...

2019-04-13 10:54:35 502

原创 linux mysql 重置密码

一个老的mysql库，root 密码忘记了，是一件悲伤的事情。mysql 5.6 版本centOS 5.7 重置密码如下：MySQL root密码的恢复方法之一如果忘记了MySQL root密码，可以用以下方法重新设置：1.KILL掉系统里的MySQL进程； killall -TERM MySQLd 2.用以下命令启动MySQL，以不检查权限的方式启动； ...

2019-02-02 10:03:25 288

原创 R语言绘制坐标保存图片

绘制坐标有时候我们绘制坐标的时候，需要改变坐标轴的定义，我们以日期为横坐标绘制时间序列为例讲解先列举简单的例子：rnorm(n, mean = 0, sd = 1)n 为产生随机值个数（长度），mean 是平均数， sd 是标准差。> rnorm(10,1,sd = 2) [1] 1.98984356 -1.93403191

2017-10-27 11:11:42 2662

原创 Iris DataSet 鸢尾花数据集

以鸢尾花的特征作为数据来源，数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集三类分别为:setosa, versicolor, virginica数据包含4个独立的属性,这些属性变量测量植物的花朵,比如萼片长度, 萼片宽度,花瓣长度, 花瓣宽度.Sepal lengthSepa

2017-09-12 10:41:57 19576 6

原创 Python pandas 数据框的str列内置的方法详解

在使用pandas框架的DataFrame的过程中，如果需要处理一些字符串的特性，例如判断某列是否包含一些关键字，某列的字符长度是否小于3等等这种需求，如果掌握str列内置的方法，处理起来会方便很多。下面我们来详细了解一下，Series类的str自带的方法有哪些。1、cat() 拼接字符串例子： >>> Series([

2017-07-11 14:18:40 1704

原创 Keras 可视化 model visualization

https://keras.io/visualization/系统： ubuntu16.04前置条件：sudo apt-get install graphviz依赖 pydot-ng ，若出现错误，用命令行输入pip install pydot-ng keras.utils.vis_utils模块提供了画出Keras模型的函数（利用graphvi

2017-06-21 17:49:54 5244 2

原创 mongodb update 重命名列

db.getCollection('private_enterprise').find({})查询结果如下，现在需要把 "证券代码" =》 “code” ； "发行人中文名称" =》 "COMP_NAME"{ "_id" : ObjectId("594792ce10bba506b0e1cd26"), "证券代码" : "011697006.IB", "

2017-06-20 11:34:48 4305

原创 R 语言写入 RMySQL 中文乱码

R语言在windows 平台写入 MySQL 可以使用下面的库：library(RMySQL)con dbSendQuery(con,'SET NAMES gbk') ==> 用于处理中文乱码问题，详情见下文常用的命令：dbListTables(con)dbRemoveTable(con,"testtable")fruits dbWrite

2017-03-30 15:12:16 3830 1

原创 python 集合并集、交集 Series list set 转换

set转成list方法如下： list转成set方法如下：s = set('12342212') l = ['12342212']print s # set(['1', '3'

2017-03-16 14:47:09 16096

原创为何 PyMongo 在记录中插入 _id 字段

MongoDB 要求每个文档都必须有 _id 如果待插入的文档没有 _id, MongoDB 会自动生成一个,但不会把结果返回个 PyMongo对于需要写操作频繁的应用来说, 在写入之前复制一份插入 _id 代价可能会很高如果你不想自动生成的 _id, 就需要自己在插入数据前自己准备好 _id 字段Why does PyMongo add an _id field to all of

2017-03-03 16:15:36 5517

原创 dict to json And json to dict

json.dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, encoding="utf-8", default=None, sort_keys=False, **kw)Serialize obj

2017-03-03 15:17:38 701

原创 python 3.5 退回 3.4 打包成window可执行程序 py2exe

环境： python 3.5windows 安装了 https://www.continuum.io/downloads【提示：用迅雷下载非常快】程序写完用 py2exe 打包：首先安装： pip install py2exe执行： python setup.yp py2exe 报错：Missing run-py3.5-win-amd64.ex

2017-01-25 11:56:15 4649

原创 pyspider 中文简介

注意，虽然在本文中会涉及调度策略等内容，但实际执行效果取决于具体策略实现。project脚本分为不同的 project，不同的 project 之间的任务互相独立，建议为不同的站点建立不同的 projectproject 属性group – 分组标识，暂时仅用于区分name – 脚本的名字，只允许 a-zA-Z0-9_status

2016-12-31 14:36:52 3045

原创关机时执行指定脚本

在.login中执行相应命令，或在.bashrc（用tcsh shell，在.tcshrc）里写命令。是不行的，.login是在用户登录时执行，用户可能在本地无需登录，或者在远程多个用户登录，多次登录；而.tcshrc是在shell启动时执行，登录后用户一般会多次打开shell，这样该命令或程序就会被多次执行。Linux 启动顺序：1、 BIOS自检2、运行系统内核并检测硬件3、

2016-12-29 13:39:26 2888 1

原创 mongodb not like 常用查询关键词

带查询的内容：

2016-12-15 18:49:26 5620

原创 Python DataFrame 问题记录：如何删除原来的索引，重新建立索引 reset_index

删除行索引重排：ser.reset_index(drop = True)df.reset_index(drop = True)------------------------------------------直接修列索引：df = pd.DataFrame(df,columns = ['One','Two','Three'])

2016-12-14 13:12:47 15916 2

转载 mongodb 用户权限设定

摘要： MongoDB 3.0 安全权限访问控制，在添加用户上面3.0版本和之前的版本有很大的区别，这里就说明下3.0的添加用户的方法。环境、测试：在安装MongoDB之后，先关闭auth认证，进入查看数据库，只有一个local库，admin库是不存在的：root@zhoujinyi:/usr/local/mongo4# mongo --por

2016-12-08 11:23:05 476

原创 mongodb 遇到的问题记录，开机启动， web 访问

晚上用 nohup 启动了 mongod，第二天早晨起床发现 mongod 退出了，查了一下日志，发现如下线索。判断是 shell 退出时mongod 随之退出了。正确的启动方法应该是用 fork 参数后台启动。2016-12-08T00:07:55.265+0800 I CONTROL [signalProcessingThread] got signal 1 (Hangup

2016-12-08 08:30:06 2923

原创 ubuntu16.04 mongodb允许远程访问

介绍如何安全的配置 mongodb 局域网内部远程访问。测试环境:UBUNTU 16.04MongoDB Server私有IP – 192.168.10.60MongoDB shell version: 3.2.11, port 27017Application Server (Same LAN network)私有IP – 192.168.10

2016-12-07 11:29:10 4192

原创 Scrapy Ubuntu 软件包

Scrapy Ubuntu 软件包0.10 新版功能.Scrapinghub 发布的apt-get可获取版本通常比Ubuntu里更新，并且在比 Github 仓库 (master & stable branches) 稳定的同时还包括了最新的漏洞修复。用法:把Scrapy签名的GPG密钥添加到APT的钥匙环中:sudo apt-key adv

2016-12-05 16:57:57 423

原创 crontab 环境变量与常见的问题坑

如果遇到命令手动可以执行，但是 crontab 死活错误，可以在命令行打印 $PATH1.crontab与环境变量不要假定cron知道所需要的特殊环境，它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量，除了一些自动设置的全局变量。所以注意如下3点：1）脚本中涉及文件路径时写全局路径；2）脚本执行要用到java或其他环境变量时

2016-12-05 00:16:28 957

原创 python 时间相关

用Python计算昨天和明天的日期：>>> import datetime #导入日期时间模块>>> today = datetime.date.today() #获得今天的日期>>> print today #输出今天日期2016-01-25 >>> yesterday = today - datetime.timedelta(days=1) #用今天日期减掉时间差，

2016-12-04 21:19:04 351

原创 hive 查询字符串处理

字符串相关select substr(url,63,19) from table_name; 从字符串 url 的某个下标开始截取 len 的长度select regexp_extract(url,"news_(.*?)\\/http", 1) from table_name; 使用正则表达式提取字符串中的特定字段这个例子提取了 url 中 ~~~~~news_XX

2016-11-08 21:57:15 5504

转载用curl 发送 post 请求

POST请求 http://172.16.102.208:8089/wiapi/score?leaderboard_id=1&score=36&app_key=66 目的1：通过脚本发送post请求。答案： curl -d "leaderboard_id=7778a814

2016-04-19 07:26:43 2707

原创谷歌的alpha go 战胜李世石与谷歌双足行走机器人

从人类历史的宏观视角去体察，我认为今年是人工智能的新纪元，也是谷歌的新纪元，全球科技公司的新纪元。从微观的国际形势去体察，这是谷歌的机器人、人工智能在全球范围内一骑绝尘，遥遥领先的标志。率先掌握了下一代生产工具、战争工具。

2016-03-10 08:48:15 1326

转载 Linux查看文件编码格式及文件编码转换

如果你需要在Linux 中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim 中可以直接查看文件编码Shell代码

2016-02-25 16:03:01 634

原创 mysql 忘记密码

1. 在系统偏好中,中止MYSQL服务.；2. cd/usr/local/mysql-...../bin sudo ./mysqld_safe--skip-grant-tables &3. 登录MySQL；mysql4. 置空root用户的密码； mysql> update mysql.user set password=‘’ where User=

2016-02-11 09:09:57 451

原创编译安装 MQTT mosquitto 遇到的问题和解法

从官网（http://mosquitto.org/download/）下载了 1.3.5 的版本，解压后编译失败:~/Downloads/mosquitto-1.3.5$ makeset -e; for d in lib client src; do /Applications/Xcode.app/Contents/Developer/usr/bin/make -C ${d}; don

2014-12-17 16:05:47 6165

原创 MQTT 在 mac 上搭建

MQTT is a machine-to-machine (M2M)/"Internet of Things" connectivity protocol. It was designed as an extremely lightweight publish/subscribe messaging transport. It is useful for connections with re

2014-12-17 15:02:06 3396

原创 android-20 android wear sdk 下载

现在 android wear 的 sdk 很难下载，这里分享一个给大家。不用谢~http://pan.baidu.com/s/1dDu2H13

2014-08-27 14:27:44 1869

原创判断摄像头有没有闪光灯

最近写一个程序，需要根据条件打开摄像头的闪光灯。在 nexus 5 上没问题，但是到了 nexus 7 就不行。找了几个网上传的方案，发现都不行。 Android 不同的发行版本对标准API 的支持不一样，连 N7 都不标准：比如我用这段代码检查时，它竟然不是 null if (parameters.getFlashMode() == null) {

2014-08-19 16:18:15 2264

转载 SecureCRT 5.X的注册码

SecureCRT 5.X的注册码 Name: Apollo InteractiveCompany: Apollo InteractiveSerial Number: 03-50-023223License Key: ABMVSR NA46JN V3D2GG TJDKFQ ACS3S4 B18P54 ZPCQWM 9756P2Issue Date:

2013-08-28 14:27:23 2956

原创 Layout Tests 分析3- 百度手机浏览器T5内核

按包名分析com.android.dumprendertree2.scriptsupport 可以和 python 脚本交互的包，用来启动 layouttest，待运行结束之后回掉 OnEverythingFinishedCallback下面这一段注释及代码交代的也非常清楚了： /** * This method is called from adb to

2013-06-25 17:03:39 1898

原创 Layout Tests 应用场景 - 百度手机浏览器T5内核2 - LayoutTest apk 结构分析

百度手机浏览器的体验地址： http://shouji.baidu.com/browser/=========================正文===========================================从上一篇的执行示意图中可以看到，LayoutTest 的执行以及报告生成都发生在 apk 中，所以 apk 是这个测试方案的核心，本文就着重讲述这个 apk

2013-06-20 10:29:32 2680 2