大数据
文章平均质量分 53
dualven_in_csdn
布道者;创造者;
Mr writer。
目前博客内容主要偏重于个人技术记录,后面希望多些系列知识的整理。
展开
-
谷歌成功利用一台 54 量子比特的量子计算机
亲,你有所不知,这台量子计算机,大概是由以下零部件组成的:容纳处理计算的量子比特的加固室;量子计算机+人工智能,将不断迭代出更高级的量子计算机+人工智能,两者之间将出现正向回馈:AI 会加速量子计算,量子计算也会加速 AI,发展的速度和斜率将一下子陡峭起来。是的,请记住今天这个日子:在这一天,量子计算领域的划时代的突破,终于出现了!:比特币拥有高强度的算法需要依靠强大的计算力完成解密,一旦量子计算机投入到“挖矿”行业中,原计划在2140年才能挖完的2100万枚比特币将很快被挖完,乃至被破解。原创 2022-09-21 14:55:21 · 1242 阅读 · 0 评论 -
探索 TDengine在《图码联侦》项目中的应用可行性及实践研究
【本文正在参与 “拥抱开源 | 涛思数据 TDengine有奖征稿】https://marketing.csdn.net/p/0ada836ca30caa924b9baae0fd33857c目录图码项目介绍及问题TDengine探索可行性研究TDengine安装与使用源码安装docker使用主要操作JAVA 客户端连接性能考虑taosdump使用taosimporttaosdemo缺点发掘与结论图码项目介绍及问题TDengine探索可行性研究原创 2021-07-09 15:27:49 · 1923 阅读 · 5 评论 -
探索 TDengine在《图码联侦》项目中的应用可行性及实践研究(new)
【本文正在参与 “拥抱开源 | 涛思数据 TDengine有奖征稿】https://marketing.csdn.net/p/0ada836ca30caa924b9baae0fd33857c目录图码项目介绍及问题TDengine探索可行性研究TDengine安装与使用源码安装docker使用主要操作JAVA 客户端连接性能考虑taosdump使用taosimporttaosdemo缺点发掘与结论图码项目介绍及问题 图码联合侦测系统,是在视..原创 2021-07-09 14:58:21 · 592 阅读 · 0 评论 -
TDengine系列六, 导入导出以及限制与缺陷
https://www.taosdata.com/blog/2020/03/09/1334.htmlhttps://github.com/taosdata/TDenginehttps://github.com/taosdata/TDengine/tree/develop/importSampleData小T:修改目前可以用相同时间戳的数据来update小T:delete只是暂时还没能支持小T:这是我们3.0版本的计划小T:未来一定会有的小T:其实小T...原创 2021-06-23 10:50:45 · 2908 阅读 · 1 评论 -
TDengine 系列五 java客户端连接
(1) connection pool(http://10.30.40.10/blocks/taosdb原创 2021-06-18 17:30:56 · 682 阅读 · 0 评论 -
TDengine 系列四 常用操作
[root@taos192 TDengine-server-2.1.2.0]# docker exec -it taos192 taosd -Ctaos global config:================================== serverPort: 6030 arbitrator: numOfMnodes: 3 vnodeBak: 1 telemetryRep.原创 2021-06-18 14:37:45 · 683 阅读 · 0 评论 -
TDengine 系列三 docker 安装试用
参考文章https://www.taosdata.com/blog/2020/09/11/1824.html原创 2021-06-18 11:10:56 · 602 阅读 · 0 评论 -
图像通道的迁移方案
而原创 2021-06-10 15:47:24 · 178 阅读 · 2 评论 -
2021-06-20切换阿里腾讯的性能观察
阿里云www 切换时间大概9:20主网关 ccs 10M ping 1:9 conf 3:7 web 9:1 ; 负载均衡为ddos机主要干活的ddos机原创 2021-06-02 10:13:53 · 257 阅读 · 0 评论 -
mysql 高效删除数据的方法
新的数据处理方案:如果在一张表都是不要的数据,不要用delete 用truncate如果一张表的数据很复杂,那么导出要的数据 比如只有三分之一,然后truncate 再导入需要的这部分数据即可。(1) 导出需要的数据mysql -uroot -p123456 -h127.0.0.1 -P3306 cn116 -N -e "select * from dw_equip_imsi_count" > 116.sql(2) 删除整个表的数据mysql -uroot -p123456 -原创 2021-04-08 13:07:39 · 835 阅读 · 0 评论 -
不修改成型大数据结构,升级版本的方法;以及变更mycat模型的方法
(1) 升级时。 需要在解压前备份旧的数据结构,解压后再恢复到旧的数据结构;并且阻止结构的升级脚本。http://10.30.120.1/dualvenDoc/allshell/blob/master/chinese/0317.shfunction beforeUnzip(){now_version=`sed -n 's/<version>\(.*\)<\/version>/\1/p' $app_path/sql/version.xml`echo $now..原创 2021-03-05 14:28:57 · 178 阅读 · 1 评论 -
useOffHeapForMerge in mycat
RROR [WrapperSimpleAppMain] (io.mycat.MycatStartup.main(MycatStartup.java:63)) - 2019-05-06 16:26:27 startup errorjava.lang.NumberFormatException: Size must be specified as bytes (b), kibibytes (k), mebibytes (m), gibibytes (g), tebibytes (t), or pebibyte原创 2021-03-05 14:14:43 · 283 阅读 · 0 评论 -
spark项目实践
实践目的通过操作一个开源例子,学习大数据的架构 及基本的使用,各种概念。不涉及自编码与创新。环境搭建需要建立 hadoop,hbase ,spark 等大数据环境在10.30.2.5上建立六个docker , 分别对应 s141~s146 分别用于装大数据环境,具体操作步骤 参考本人hadoop-sparkhttps://blog.csdn.net/dualvencsdn/article/details/112007643?spm=1001.2014.3001.5501habas原创 2021-02-03 17:02:38 · 5803 阅读 · 0 评论 -
hbase 认识与基本操作
(1) 原理图(2) 基本操作(3) 打包 测试让dependency 都打到包里去。java -cp target/SparkSql_Proj-1.0-SNAPSHOT.jar cn.just.spark.utils.HBaseUtils main(4)注意工程中引用 的包与服务器包的版本的一致性参考:https://hbase.apache.org/book.html#quickstarthttps://blog.csdn.net/dev...原创 2021-01-28 10:34:11 · 145 阅读 · 0 评论 -
hbase 集群在 hadoop集群下安装
(1) 版本 hadoophadoop-2.10.1.tar.gzhbase-2.4.0-bin.tar.gz下载源hbase安装https://segmentfault.com/a/1190000022358299https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.4.0/(2) 安装主要参考 如下1.注意点:使用了zookeeper 在s141,142,143而hadoop路径,如果时高可用的HDFS,可..原创 2021-01-20 17:57:47 · 302 阅读 · 0 评论