pzy0668的专栏

下面根据数据流向逐一介绍 Flume -> Kafka -> StructuredStreaming -> Mysql1. Flume Watch the specified files, and tail them in nearly real-time once detected new lines appended to the each files. If the new lines are being written, this source will retry r

hive部署

如果发现 3306绑定的地址是127.0.0.1，那么继续下一步。7. 查看ubuntu的ip地址，就可以在windows连接啦。其中123456 是mysql的root用户的密码。3. 查看3306端口绑定的地址(也可不看，直接去修改文件)看到root的host为%表示允许远程连接了。回车，输入密码后进入mysql数据库。5）继续查看是否允许远程连接。4. 修改mysql配置文件。2）使用mysql数据库。6. 重启mysql即可。1. 确定防火墙已关闭。1）先进入mysql。

pyflink入门示例

在windows环境下，vscode编写ubuntu中的pyspark代码并执行

为了方便直接用vscode操作ubuntu，需借助ssh，ubuntu先安装该服务，之前配置hadoop伪分布的时候已添加，sudo apt-get install openssh-server。安装好后，添加ssh连接，在下图第3步写入 ssh ubuntu的用户名@ubuntu的ip地址。此时，会新建一个窗口，如下图，在红色框那里输入刚刚Ubuntu用户名的密码，按回车。此时，在vscode右下角弹出对话框，如下图，点击Connect。输完 ssh 用户名@ip ，按回车后，选择下图第一个。

flink本地模式

确保机器能够正常上网。首先下载spark安装包，

采用python编写mapreduce程序。

hadoop streaming的使用，官网翻译

将 write_enable=YES 前面的注释#号删除，然后重启即可。当上传文件时，被拒绝上传，如图。至此，可以自由上传文件了。

Hadoop伪分布安装。主要参考《大数据技术原理与应用》第三版。

4. 设置虚拟机名称以及选择位置，位置选择一个大的盘存放。点击完成后，耐心等待完成 ubuntu 安装即可。5. 选择磁盘大小，将虚拟磁盘拆分成多个文件。处理器：选择虚拟化IntelVT-x。网络适配器：用NAT模式即可。内存：尽量 4g以上；6. 点击自定义硬件。

source miniconda3/etc/profile.d/conda.sh #激活sh。问题：anaconda安装成功之后，使用命令conda activate py3.8报错。查询当前环境位置，使用 source activate 进行激活就可以解决问题。然后执行conda config --show-sources。删除第一行 show_channel_urls：yes。保存退出后，执行conda clean -i。一路回车，然后输入安装路径即可。

在虚拟环境中 pip install labelimg。解决方法：安装libxcb-xinerama库即可。