添柴程序猿的专栏

build() 下面有个Row,然后再下面有个Column方法,然后,里面就是具体的内容了,首先就是显示了一下Text,指定了fontSize和fontWeight对吧然后。就是因为有个.width之前写了100,把宽度占满了,我们写上百分之50,就可以了.然后如果我们把column这个不分复制一份可以看到,预期,左右,显示两个部分对吧,然后如果我们复制一份Text这里可以看到右边就出现了两个内容了,很容易理解,TypeScript是在JavaScript的基础上做出来的,然后,然后我们再来看,实际上。

如果选择remote device,这个需要登录华为账号,会自动弹出来登录就可以了。说需要我们,设置一个签名,非常简单,点击open signing configs。我们选择local这个,然后,第一次需要点击install 安装模拟器。点开以后可以看到让我们连接,本地模拟器,还是远程模拟器,还是远程设备。然后,在右上角,的地方,找到真机,点击运行,这个时候报错,这里。然后再来,我们继续创建,这里选择一个模拟器的位置。然后这里让配置,内存,磁盘什么的,这里。然后再有一个tools,这里。

之前通过蓝牙连接设备的时候,直接就是连接上蓝牙以后,设备会自动发送数据,有数据的时候,会自动发送,但是,有一个设备就不会,奇怪了很久,设备启动了也连接上了,但是就是没有数据过来.是因为,这个设备有几种模式是握力球,在设备连接到蓝牙以后,需要,给设备通过蓝牙发送一个指令04,才能启动连续握力模式,这个时候,握的时候才有数据传输过来.因为之前是用他们给的SDK去连接的,但是发现SDK测出来的数据,忽大忽小,效果不好,所以最后,就自己使用原始蓝牙协议自己做了.获取以后这个不分是,开启监听,开启监听以后,

这个错误会导致app卡死,这个可以这样处理,不要在UI线程中去直接执行http请求,可以把。这样处理就没问题了.

人脸识别离线sdk,android版,有时候注册会不成功啊.有个规律,不成功的时候,点击离线激活,这里可以看到硬件指纹是空的,这个时候,如果点击在线激活,平板,联网以后,输入序列号,这个时候是激活不了的,提示:not enough param,这个错误.这个时候,去自己的android工程中,去:全局搜索注释掉（或开启）这个权限试下包括动态获取的搜索以后注释掉,然后再去试一试就可以了.默认代码中是开启的....

这个时候,就要用到try catch了,但是实际上发现,功能上,没有任何影响,加上try catch就可以了.类似这种代码的时候报错的,这个时候getActivity()无法获取,解决方法就是.这个错误是由于当前的Fragment中,在使用getActivity()这样来处理就好一些了,但是实际上,可能还会有问题,

然后这个时候程序中的一个人脸预览页面,横向手持平板,摄像头在上面,但是这个时候预览的摄像头画面却是很像头像朝左,也是横过来的.在AndroidManifest.xml文件中,会有记录的所有的Activity,这里,我这个Activity配置的时候有个。在Android系统的平板中发现一个问题,我们做的一个Android程序,横屏的时候,摄像头在上面,这里就是在调试的时候,通过调整代码中的degress的值来调整摄像头方向的.这里可以调整,对应的degress的值,比如90是顺时针旋转90度。

这个时候如果你配置了防火墙,如果扫描机的IP被屏蔽掉了,或者对应的端口被屏蔽掉了那么对我们来说,漏洞就扫描不到了,其实,除了系统本身的软防火墙,还有网闸,等待安全设备,可以保证内网的安全.在我们平时搭建大数据平台的时候,由于防火墙的限制,会让搭建集群的时候,报各种错误,但是,有些网络环境要求比较严格的地方,防火墙又要求必须要放开,尤其是..5.直接放开某个IP可以访问,本机所有端口,这样比较方便,因为有时候不知道有些开源软件内部还用到了哪些端口,如果一个个端口放开就比较麻烦。这里说一下防火墙的配置.

1.首先去瀚高官网,注册,然后下载安装包, OpenEuler23.03欧拉系统_安装瀚高数据库企业版6.0.4_openeuler切换root用户_su:拒绝权限_passwd: 鉴定令牌操作错误---国产瀚高数据库工作笔记001。直接把/etc/yum.repos.d/下的highgo.repo给删除了,重命名成了.bak了。给目录挂载,其实应该不用挂载,创建了目录了就可以了应该,自己试试把我没这样试。然后关闭瀚高PG,然后再开启,做一个重启的动作,这样就可以了.

这里说一下 这个如果在centos7.9 应该还可以到时候自己试试吧,我这里用的openeuler23.03,或者如果你用的是centos8的话,这里安装的时候就要用yum install python3-devel,不能用python,要用python3,python是找不到的,会安装出错。首先去上传安装包rpm格式的,这个是在瀚高官网下载的,下载以后名称是乱的我给修改了一下,也不知道具体版本,但是是最新版本的.这个4.5.8是我自己加上的,实际以安装后显示的版本为准。

注意这个时候我区ifconfig以后,我看到了,只有我画红框那个,lo 上面那个是没有的,这个就出问题了...但是实际上我执行的时候报错了.说没有启动NetworkManager,这个就要说说了...安装数据库,启动以后然后发现系统无法联网了....ping不通了..systemctl start NetworkManager就可以了,这个时候。这个东西在安装瀚高数据库的时候我们前期工作给关了,官方给的教程让关啊...启动以后,然后再去ifup ens33 启动网卡就可以了.

思路对应的json是这样的,其实就是在执行同步之前,先把目标表中所有数据的SYNC_STATUS字段变成0,然后进行同步,同步的时候,仅仅同步ID,和一个常量1,把ID同步到目标表的ID上,然后把1同步到目标表的SYNC_STATUS这个字段上. 这样就相当于把存在的数据都打上了1这个标记,然后不存在的还是0 ,最后执行完同步以后,postSql再用,这个把SYNC_STATUS是1的字段都删除掉.可以看到运行需要的json脚本,做增量的时候,直接在column下面, 然后添加上where条件就可以了。

1.datax-web2.0是最新的版本,2023-07-01 13:54:10这个时间写的,但是datax-web2.0不支持,对Phoenix的支持,现在datax已经是3.0了,3.0已经可以支持Phoenix了,但是datax-web2.0还不行,然后最重要的就是这个json了,可以看到里面配置了writer这个连接Phoenix的部分,最重要的就是这个json,这个怎么写,这里还需要注意,对于Phoenix来说,列名 要直接用""引起来。构建完了以后可以拿到对应的datax3.0需要的json.

问题在这里,要把hbase目录下的phoenix-client-hbase-2.4-5.1.2.jar复制到queryServer-6.0.0的目录中,要这样才行。1.首先hbase2.4.11的安装就不说了,这个以前的博文有,然后我们看如何安装Phoenix的queryServer.比如Phoenix的bin目录下直接启动就行,这样是不对的,因为在Phoenix的bin目录下,根本就没有,是这样复制的,把这几个文件复制过去,但是不行,不要用这种方法,这里只是说一下踩过的坑,修改一下两个文件的权限。

这样安装的时候注意,交互模式安装,需要自己输入Y,有提示,如果你没有提前把数据库建立好,把sql文件导入进入,这里的mysql就不用说了,然后jdk安装也不用说,然后maven,安装说一下,datax参考上面的博文安装,python2.x这个我应该是以前装其他东西,自动给装上的,这里也不安装了,很简单,网上文章很多.去这里配置一下,数据库的用户名密码之类的,我们光创建数据库了,还没有配置。他在交互模式下,会提示你输入,数据库IP,端口,用户名,密码这些。

您提供的配置文件[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件。这样一执行可以看到再去看比如/opt/module/datax/plugin下面的reader文件夹和writer文件夹中就,都没有._开头的文件了都被删除掉了。首先我们执行 rm -rf /opt/module/datax/plugin/*/._*这个时候,我们去对应的plugin文件夹,把所有的._开头的文件都删除掉就可以了。

1.因为项目中需要在postgresql和mysql中进行同步数据,所有的数据都需要从postgresql中同步到mysql中,那么这个时候,如果postgresql中有空间类型的数据,这个时候,就需要特殊处理,如何把postgresql中的空间类型数据,转换到mysql和hbase中存储。

首先上面这个文章已经写过了,但是,那个时候仅仅是把mysql导入到mysql了,现在增加扩展,让postgresql和mysql数据库的数据,通过指定数据库,指定多表,然后直接同步到mysql数据库,同时往hbase原始库也同步一份.然后下面的GenerateTableFetch处理器,这里配置上面的部分,tablename可以看到是从flowfile的属性中获取的,这里是动态的。这是剩余的属性,这个是mysql的入库的部分,然后再看hbase的入库部分。

先来看一下,整体的流程,现在这个流程,针对一张表,已经可以实现自动的,监控数据库变化增量同步数据,数据中存在空值,以及日期类型数据也能处理,如果插入时目标表中已存在对应主键数据,就自动变为更新,如果更新时目标表中不存在要更新的数据就自动改为插入.可以看到流程有点长,这次主要是说,更新这个部分,主要把重要的,处理器中的属性,以及拼接sql的内容记录下来,都是测试通过的.然后再来看,这个,添加过滤具体哪个数据库的处理器RouteOnAttribute处理器。更新的那个sql语句的拼接。

但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.对应的更新 删除的话,如果想过滤对应的数据库,以及添加,比如要需要更新的数据在目标表中不存在就 变成插入,也是可以做的.这里19号ReplaceText处理器是用来拼接删除的sql的,很简单之前的博文也有不多说了,然后。

具体的,之前已经写过,如何在NIFI中实现MySQL的增量数据同步,但是写的简单了,因为,比如在插入的时候,更新的时候,仅仅是写死的某个表,也就是针对某个表,指定好字段进行插入操作,或者更新操作,这样就有些局限了,比如我想同步一整个库,注意是增量同步,那么,难道我要一张一张表的去创建好了以后,然后我再去一个的同步嘛,比较麻烦,一点点解决.主要是这里的内容,可以看到有一列是日期类型的,那么,需要通过STR_TO_DATE。将日期格式转换可以插入到数据库中的就可以了.

选择增量就可以了,配置和全量是一样的,但是一定要注意,mysql要配置一下binlog同步,这个的配置,我之前的博文也有,然后网上也有很多.添加以后再去添加驱动,注意这里的驱动,其实就是,从什么库同步到什么库,先看一个mysql到postgresql的同步。然后保存以后,就可以看到连接列出来了,他这个驱动什么的都不需要配置,直接添加就可以,非常方便,添加以后。选择一下数据源表,目标表,然后注意,选择以后,然后点击添加,这里最好指定一下两个表的主键id。然后点击保存就可以了,点击保存以后。

hdfs dfs -du -h /hbase/data/default/tablename 来获取某个表的大小。还需要注意,如果你的表名中有_ 那么一定要给表名加上"" 再去执行,要不然就会报错,获取不到表大小,显示找不到这个表.先给出结论,用Phoenix是不可以获取到hbase的表大小的,但是通过Phoenix的sql语句可以获取,上面这个代码亲测可用,很简单...但是也是尝试了很多办法才实现的...不带表名就可以获取所有表的大小了.hbase的表条数是可以的.

提取以后,然后,继续再提取:$.change[0].kind 这个change里面的数据包括,insert,update,delete这种数据,然后提取$.change[0].table表名.这里也是用EvaluateJsonPath处理器实现,然后继续,使用updataAttribute处理器,添加一个alltable 属性是1...后面先不说,继续看一下下面的流程,如果alltable配置成了2,那么就是需要全量表同步,那么就是,直接就是所有表同步了,其他值,判断不通过,就是不同步.

往postgresql中插入数据,这样的sql是可以的,这里对应的字段id,name..这些加不加"",都可以测试过了,然后表名加不加"",都可以也测试过了,可以看到这里参数需要是''单引号才行.上面是格式化后的内容,然后我们去看一下,EvaluateJsonPath处理器的配置,我们需要提取出,columnnames,columnvalues,oldkeys中的id,还有表名。更新这块花了很长时间,最后找了一个比较通用的做法,然后以后其他的情况就都可以解决了,但是还考虑到了其他问题,不知道会不会出问题.

我这里只是看了一个delete那个分支的,可以看到数据已经过来了,过来的数据是这样的,然后我们就可以利用EvaluateJsonPath处理器,从这里面去提取内容了,我们要拼接。再继续把获取到的带有kind属性的,这个flowfile,传递给RouteOnAttribute,根据不同的,比如delete,update,insert走不同的分支进行处理。可以看到这个是我们delete分支的,我们添加的属性,这里我们主要添加了,tablename表名,keyname主键名称,keyvalue主键值。

点击添加java项目,第一次的时候,会让你添加jdk,按照提示操作,jdk可以是,自动安装,也可以用你已经安装好的,指定安装好的目录就可以了,然后添加springboot项目,也是安装提示安装就可以了.之前我是自己安装的nginx,以及给nginx添加的https支持模块,配置好以后,https不能访问,http可以访问,然后用https使用ip地址可以访问,跟用他这个是一样的,但是他这个就非常方便.然后再来看一下,阿里云有免费的域名top的可以使用一年,去申请就可以了,申请支付以后,然后。

先画出来流程,其实就是GenerateTableFetch处理器,获取分页获取Postgresql11 cdc分页数据的sql,获取分页sql以后,然后ExecuteSQL执行分页sql语句,然后就可以获取到具体的cdc数据,然后再把cdc数据利用ConvertAvroToJSON处理器把cdc的avro数据转换成JSON数据,然后把cdc的json数据用SplitJSON处理器进行分割,分割以后,就把分割后的单条CDC数据,传输给EvaluateJsonPath处理器...我们先弄到这里,去测一下。

安装postgresql11以后,然后我们来看如何给postgresql11,来安装wal2json插件,这个插件可以把postgresql产生的cdc增量数据日志,转换城json数据供我们使用比较方便.注意: 这里我们使用postgresql的版本是11,其实安装了一个最新的15版本的,但是15版本的不能用Navicat进行连接操作,会报错,使用起来麻烦,所以又找了一台机器安装了一个11版本的.直接在创建的表中,进行新增,删除,修改表记录的话那么,就会产生变更记录。

然后其他的默认就可以了,这里注意Refresh Interval这个需要配置,就是多久获取一次数据表3sec,这个是我自己设置的,如果这里不设置用默认的话,那么会出现,只获取一次的情况,而且,重启以后也不再获取了.Table Name: ${db.table.name}这个配置好,这里要获取,对应的参数中的名字,当然这个是目标表中的名字,这个名字,我们可以弄的灵活一点,比如我们再加上一个_时间等等。可以看到这里需要配置数据库连接池第一个,配置方法,太老套了,不说了这里,可以看之前的文章写的很详细了.

其实是计算出来的,按照分钟计算,一个交易日是4个小时交易时间。3、5分钟顶背离引发125-150分钟左右调整;2、1分钟顶背离引发25-30分钟左右调整;2、1分钟底背离引发10-20分钟左右反弹;5、30分钟顶背离引发3-5天左右调整;6、60分钟顶背离引发6-9天左右调整;6、60分钟底背离引发3-5天左右反弹;7、日线顶背离引发25-30天左右调整。5、30分钟底背离引发5-8小时反弹;4、15分钟顶背离引发5-8小时调整。7、日线底背离引发9-13天左右反弹。1、总规则:25-30倍;

之前做的集群的虚拟机大小是50G,很快就被占满了,而给虚拟机根目录扩容又很麻烦,弄了一圈,没弄好,然后又做了个200G的集群,但集群...今天发现又出问题了.NIFI蹦了_hadoop也蹦了_集群磁盘又满了_奇怪了_刚做了个200G的虚拟机_接着磁盘就又满了最开始的时候是nifi报错,刷新总是报错,说。

刷新NIFI的时候报错,java.net.SocketException: 打开的文件太多。这里* 表示,所有用户所有组 都执行这个操作,这个修改最大文件打开数量,在做大数据的时候。还是用的比较多的,因为往往数据处理需要消耗大量的CPU,和大量的资源,系统的限制。注意编辑上面的文件修改一下,文件打开的限制句柄数就可以了,注意。往往让处理会变的很慢或者报错.

还有个地方注意:先修改完一个机器上的nifi,然后再去同步到其他机器上去,把整个nifi-1.21.0文件夹,同步以后只需要修改对应的ip地址就可以了,注意如果用了https,需要先设置用户名密码,设置以后,然后再同步到其他机器上去,这样的话,三台机器的用户名密码就一样了.英文写的,凡是好东西,肯定是很详细的,并且就是为了让别人弄明白,做了大量解释,所以不用担心看不懂...首先,把安装包,上传,具体安装包的下载地址,在我们的单机版安装的博文中有了,然后。

安装就不说了,无非就是下载,然后解压,然后去配置/opt/module/nifi-1.21.0/conf/nifi.properties文件。这里注意了,我用的是edge浏览器访问的,一直卡在那个开始页面了,很久进不去,注意这个时候,换成Google的chrome浏览器就可以进去了。上传,解压,什么的这里就不说了,还有安装jdk啊,最开始我们安装nifi1.9.2版本的时候,这些都已经详细说明了,可以去看那个博文。这里就说一下如何配置,这个文件来实现关闭,https服务,启动http访问,因为只要打开。

就可以了,可以用了,这个phoenix连不上hbase,这个问题弄了两个星期,今天总于...有着落了...首先修改这里,注意这里是https看到了吗,是https哈,1.9.2的时候我们直接配置的http的。单机安装非常的简单,这里配置一下nifi.properties文件就可以了,但是一定要注意,这里看看内容,我重命名了,把nifi-1.21.0-bin的bin去掉了,好看一些。1.21.0最新版本,这个是需要登录界面的,是需要用户名密码的。来这里下载,最新版本,超级快,阿里云提供的仓库太棒了.

然后这里的ExecuteSql处理器,我们选择数据库连接池,这里我们选择刚刚创建的,用这个连接池来执行,GenerateTableFetch生成的分页的sql语句.然后我们给PutHbaseJSON处理器配置一下,这里我们选择HBase_2_ClientService这个连接HBASE的服务。Hbase中,但是我这里的时候报错了,然后一直没解决,所以最后用了PutHbaseJson处理器,把数据存入到Hbase中去.启动以后生成的SQL我们来看一下,去执行一下,试试,可以执行。可以看到,有4条数据。

看一下GenerateTableFetch处理器,看看他是从,哪个数据库这里是mysql中的user_info_nifi表中获取数据的,然后一路,数据过来以后,插入到我们的sqlserver中去.然后,这个是整个流程,可以看到. 这个流程跟从mysql中读取数据,再输出到mysql中或者postgresql中是一样的,这里就不再一步步重新说了,具体需要配置的就是。需要修改一下,数据库连接池中的连接就可以了,上面我写的那两个连接就可以,如果直接用了上面那两个,应该不会碰到这个错误了.

然后再启动EvaluateJsonPath处理器,从json中提取数据,看一下flowfile的属性,已经把数据提取到属性中了。首先我们通过SQuirreL工具,通过这个工具,来查看一下我们的hbase中现在有哪些表,我们去创建一个表去.我们使用,sql,在SQuirrel工具中,创建一张hbase的表,用来存放,我们从mysql中读取的数据.再去打开各个处理器,然后去获取mysql中的对应表中的数据,然后,再去。创建以后我们来用查询sql,查询一下,可以看到,表中现在还没有数据.

可以看到这个数据已经过来了,我们启动了EvaluateJsonPath处理器,和update对应的ReplaceText处理器,可以看到过来的数据.我们可以去看看内容,对应的sql生成的对不对.可以看到,他包含了,这个表的所有的字段,都有了,太棒了...这样的话,我们就不用纠结,如何动态的更新某个字段了,我们所有的字段可以都进行更新操作,那么,如果没变的话,可以看到....对应的。执行删除也没问题,也被删除了,同步了,太棒了.....现在已经可以增量的去读取数据,删除数据,增加数据,修改数据了...