- 博客(9)
- 收藏
- 关注
RSS订阅原创 利用Maxwell，kafka，flume对数据库进行增量数据时候同步到hdfs上
启动：bin/flume-ng agent -n a1 -c conf/ -f job/kafka_to_hdfs_db.conf -Dflume.root.logger=info,console 这样就能从topic_db主题获取增加的数据了。1,首先改一下maxwell的配置文件(config.properties) 把从mysql读到增量的数据写到kafka的topic_db的主题上。4.数据脚本：启动（java -jar gmall2020-mock-db-2021-11-14.jar）
2023-05-05 19:46:27
371
原创 flume拦截器-校验kafka消费的数据是否为json数据
开启kafka的消费者 消费的主题是first，对应file_to_kafka.conf文件中的主题。如：echo "{a:1}">app.log。如 ：echo "{id">>app.log。最后我们紧接着在追加一个数据：echo "{id:4}">>app.log。编写flume/job/file_to_kafka.conf。那么消费端就不会有数据了，说明拦截成功了。因为监控的是applog下的所有文件。首先我们在java中编写拦截器代码。就有可以在消费端看见数据了。在消费端就能看见数据。
2023-04-29 17:04:11
226
原创 Linux权限-chmod,chown,chattr命令
chmod a=r filename.txt #一次性修改文件的uesr group 和 other的权限为 r ，只读。#通过root用户，修改文件的一切信息，修改yu2文件夹以及文件夹中所有的文件，属主为root，属组也改为root。-r--------------- 1 root root 0 11月 16 16:43 dd.txt。chown -R root:root yu2 #强制抢走yu2的内容，改为root属主，属组。chown 属主:属组 文件 #同是修改文件的属主，属组。
2022-11-05 15:49:35
498
原创 mysql中库-表增删改查
增: insert into t1(id,name) values(1,'fjifa'),(2,'fasdfs') 注意：into可以省略。（改数据的内容，和where连用，不然整个name都被改）alter table t1 change 旧的字段名 新的字段名 char(7);create table 表名字(id int ,name char(16) );添加字段：(添加多个字段用，隔开 ，不加位置的话指定在最后添加字段)(删除一整张表的内容，结构保存了下来)（删除一整张表，内容和结构都不保存）
2022-11-04 21:39:56
104
原创 mac for redis下载
5.依次执行以下两条命令：sudo make text，sudo make install。7.客户端连接：再打开一个终端 同样是进入redis-6.2.6的目录。src/redis-server(这是服务端)2.下载后压缩到桌面（我下载的是redis-6.2.6）6.启动：注意是在redis-6.2.6的目录启动。cd 然后拖进去压缩好的文件夹。输入 ：redis-cli。1.去这个网站下载压缩包。
2022-10-29 00:50:09
742
原创 Django制作分页器
然后在终端写入python3 manage.py makemigrations ，python3 manage.py migrate写入到自带的数据库中。2.2分配函数 ，制造数据（在浏览器访问路由时就写进去了）3.2视图（fenye.html）3.写逻辑，写视图（都标注了）2.写路由，分配函数，制造数据。然后就生成了一百条数据。
2022-10-28 19:02:13
342
原创 python的Django框架中from表单设置Cookie，Session
然后再终端上通过 python3 manage.py makemigrations， python3 manage.py migrate两条命令上传到django自带的数据库并添加两条如下信息。然后就访问index页面，打印的结果我已经注释在index函数中了，一定要看html表中和函数中的对应关系。恩恩....这里是一些路径部分，输入不同的路径会在app01.py中views.py执行不同的函数。点注销后就直接返回登陆页面了，数据库存的当前的浏览器的session的数据记录也被清除了。
2022-10-27 00:54:13
864
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人