- 博客(129)
- 资源 (26)
- 收藏
- 关注
原创 【亲测有效】nginx负载均衡指定ip端口转发,做自动切换
nginx负载均衡指定ip端口转发,做自动切换。nginx如何做到?监听两个目标公网ip,这两个目标ipA,ipB 是做了iptables的转发,按照端口转发的,例如我访问ipA的3333端口就转发某个squid代理x上,访问ipB的3333端口也转发到同一个squid代理x上。现在我访问nginx的3333端口,默认都走ipA转发,只有发现ipA不通或ipA转发不成功时ngnix自动切换到走ipB,我不用动任何代码。
2024-09-04 10:38:53 526
原创 【亲测有效】超高速扫描ip端口,可控制进程数,线程数,异步io链接并发数,超时时间,扫描到的端口服务信息说明
【亲测有效】超高速扫描ip端口,可控制进程数,线程数,异步io链接并发数,超时时间,扫描到的端口服务信息说明
2024-09-03 16:47:23 844
原创 【亲测可用】linux centos7.9 快速安装python3环境 手把手实操教程
或:pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/python2.7.5这个很老旧的版本了,有很多新库不支持,性能可能也不行。安装好后可以用绝对路径来使用conda或python。
2024-05-08 18:49:57 912
原创 【亲测可用】图像目标识别入门-利用笔记本电脑摄像头识别人脸标记出来采用深度学习模型实现
请注意,虽然使用基于深度学习的人脸检测和识别方法可以提供更高的精度,但其识别准确性仍然可能受到多种因素的影响,例如光照条件、人脸角度和遮挡。因此,在特定应用场景中,可能需要进一步优化和调整参数,或使用更复杂的人脸识别模型来提高准确性。更高的精度和准确性,可以考虑使用基于深度学习的人脸检测和识别方法,例如基于人脸特征的人脸检测器和具有高识别率的人脸识别模型。访问CMake的官方网站:https://cmake.org/download/ ,在页面上找到“Download”按钮,点击进入下载页面。
2023-10-17 17:56:02 481
原创 【亲测可用】图像目标识别入门-最简单的利用笔记本电脑摄像头识别人脸标记出来
请注意,此代码使用的是OpenCV提供的一个经典的人脸级联分类器(haarcascade_frontalface_default.xml)。这只是一种简单的人脸检测方法,并且可能无法在所有情况下都提供准确的结果。如果你需要更精确的人脸识别或其他特定任务的人脸检测,请考虑使用更高级的算法和模型。此代码会打开您的摄像头,并实时显示摄像头捕捉到的画面。代码会检测到人脸,并用绿色矩形框标记出来。按下键盘上的 ‘q’ 键以退出程序。确保您的计算机上安装了OpenCV库(可以通过。
2023-10-17 15:59:45 280
原创 conda常用命令参数,指定版本,依赖库文件,创建虚拟环境,删除,激活,退出,内部安装包,pip通过代理安装包
使用指定的依赖文件创建虚拟环境:conda create -n 环境名 --file requirements.txt。进入某个虚拟环境后用pip -V python -V查看是不是正确使用的虚拟环境中的python和pip程序。- 创建一个新的虚拟环境:conda create -n 环境名 python=x.x。- 在macOS/Linux上:source activate 环境名。- conda remove -n 环境名 --all。- 在Windows上:activate 环境名。
2023-09-30 23:15:30 1134
原创 【亲测有效】ubuntu 18.04 history命令添加时间和IP及用户名到命令历史记录里
USER_IP=`who -u am i 2>/dev/null| awk '{print $NF}'|sed -e 's/[()]//g'` #此处的值需要用反撇号取其执行结果。要清除整个命令历史中的重复条目,可以将 HISTCONTROL 设置成。将下面两行内容追加到 .bash_profile 文件并重新登录 bash shell,命令历史的记录数将变成 450。3、使用 HISTCONTROL 从命令历史中剔除连续重复的条目。4、使用 HISTCONTROL 清除整个命令历史中的重复条目。
2022-11-16 18:45:33 1241 1
原创 【亲测有效】1分钟 一种更简单的方法安装高匿名http协议(没有账号密码功能)代理服务 步骤超简单 仅限用于学习交流使用 勿用于其他用途
tinyproxy 版本:Release 1.11.1 ps:1.10版本后支持设置用户密码,类似squid。
2022-11-12 22:25:36 1082
原创 【亲测有效】3分钟 从零安装高匿名http协议带账号密码的代理服务 步骤超简单 仅限用于学习交流使用 勿用于其他用途
【亲测有效】3分钟 从零安装高匿名http协议带账号密码的代理服务 步骤超简单 仅限用于学习交流使用 勿用于其他用途 真正做到了http协议的 高匿名+账号密码验证 代理服务
2022-11-03 00:23:53 1113
原创 【亲测有效】CentOS7 安装supervisor守护进程管理器 自动开机运行
【亲测有效】CentOS7 安装supervisor守护进程管理器 自动开机运行
2022-08-10 12:56:33 1501
原创 【亲测有效】离线环境下迁移conda env 虚拟环境,在新的环境下不用有任何python环境,不拥有conda环境
【亲测有效】离线环境下迁移conda env 虚拟环境,在新的环境下不用有任何python环境,不拥有conda环境。注意,conda-pack 指定平台和操作系统,目标计算机必须具有与源计算机相同的平台和操作系统。...
2022-08-09 20:05:08 1027
原创 【亲测有效】hadoop hive1,hive2 索引加速查询 hive sql优化 大幅优化查询速度 索引建立
【亲测有效】hadoop hive1,hive2 索引加速查询 hive sql优化 大幅优化查询速度 索引建立
2022-06-23 11:06:51 560
原创 【亲测有效】hive sql DML语句优化思路 hive表查询优化 优化你的hive任务,all you need,持续更新中
【亲测有效】hive sql DML语句优化思路 hive表查询优化 优化你的hive任务,all you need,持续更新中
2022-06-20 13:11:48 237 1
原创 【亲测有效】hive最全常用配置参数,加速,优化你的hive任务,all you need,持续更新中
【亲测有效】hive最全常用配置参数,加速,优化你的hive任务,all you need
2022-06-20 11:52:07 2619
原创 【亲测有效】win10下如何顺利安装pytorch 1.1.0 等torch cpu gpu版本
【亲测有效】win10下如何顺利安装pytorch 1.1.0 等torch cpu gpu版本
2022-06-11 21:18:56 1888
转载 【亲测有效】CentOS 7.9部署Docker环境详解
一.操作系统环境说明 关于CentOS和Ubuntu的系统安装可参考我之前录制的视频教程: https://www.bilibili.com/video/BV1HZ4y137tS二.操作系统初始环境配置1>.关闭并禁用防火墙[root@docker201.yinzhengjie.com ~]# systemctl stop firewalld[root@docker201.yinzhengjie.com ~]# [root@docker201.yinzheng
2022-03-26 21:14:58 493
原创 【亲测有效】Centos7.9安装NVIDIA gpu驱动1080ti
硬件和操作系统环境:./NVIDIA-Linux-x86_64-460.39.run --kernel-source-path=/usr/src/kernels/3.10.0-1160.59.1.el7.x86_64yum erase kmod-nvidia
2022-03-26 21:06:32 2605
原创 【亲测有效】frp服务开机自启动/重启/查看状态命令CentOS Linux release 7.9.2009 (Core)
1. 简介Apache Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等等。当前Hive与SparkSQL已经支持查询Hudi的读优化视图和实时视图。所以理论上Zeppelin的notebook也应当拥有这样的查询能力。2.实现效果2.1 Hive2.1.1
2022-03-20 23:10:02 3249
原创 Alluxio-基于内存的虚拟分布式存储系统
什么是AlluxioAlluxio 是世界上第一个虚拟的分布式存储系统,它为计算框架和存储系统构建了桥梁,使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。 Alluxio 是内存为中心的架构,以内存速度统一了数据访问速度,使得数据的访问速度能比现有方案快几个数量级,为大数据软件栈带来了显著的性能提升在大数据生态系统中,Alluxio 位于数据驱动框架或应用(如 Apache Spark、Presto、Tensorflow、Apache HBase、Apache H..
2022-02-27 21:17:16 3422 1
原创 Flink 消费 Kafka 数据实时落Apache doris数据仓库(KFD)
1.概述Apache Doris(原百度 Palo)是一款基于大规模并行处理技术的分布式 SQL 数据仓库,由百度在 2017 年开源,2018 年 8 月进入 Apache 孵化器。Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探
2022-02-27 20:53:40 2567
原创 使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
Apache Doris 代码仓库地址:apache/incubator-doris 欢迎大家关注加星本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。1.什么是CDCCDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GRO
2022-02-27 20:53:09 2480
原创 【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】
写在前面上一篇,我们从零开始搭建好了ClouderaManager的安装环境。接下来,我们开始安装大数据生态组件,并对CDH的一些告警进行调试。一、创建集群并安装HDFS服务安装步骤: 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名:admin密码:admin1.2 登录成功来到环境界面-继续1.3 接受许可条款-继续1.4 根据需要选择版本-继续我们这里
2022-02-27 20:46:29 1260
原创 【CDH实战01】基于CentOS7的CDH6.3.2完全分布式集群搭建【上】
写在前面距离上一次写cdh集群搭建的文档已经一年多,今年2月份开始Cloudera全面下架了免费的安装包下载渠道,很多朋友在集群搭建的过程中按照之前的老文档遇到了一些问题。今天重新整理一次文档。 Cloudera官网公告 未订阅授权的用户无法使用CDH6.3.3和之后的版本 所以我们继续使用CDH6.3.2版本进行集群搭建 需要使用的朋友可以先浏览CDH6.3.2对应的组件版本是否符合需求 组件 版本 发行版 CDH 版本 Flu
2022-02-27 20:21:33 799
转载 【技术调研】安装CM 6.3.1和CDH 6.3.2
操作系统要求在安装CDH之前,我们来看看平台对系统有什么样的要求。通过官方文档,我们可以看到有5个方面的要求:软件依赖 CDH和CM支持的依赖 文件系统要求 nproc配置 Kudu所要求的nscd软件依赖Python操作系统带的Python是支持的(Hue和Spark会有一点问题),但Python 3.0或者更高版本是不兼容的。CDH 6要求OS需要Python 2.7或者更高的版本,而Spark 2需要Python 2.7或者更高版本的支持,但Spark 3只支持Python
2022-02-27 20:20:31 1199 1
原创 【技术调研】通过Apache Hudi和Alluxio建设高性能数据湖
T3出行的杨华和张永旭描述了他们数据湖架构的发展。该架构使用了众多开源技术,包括Apache Hudi和Alluxio。在本文中,您将看到我们如何使用Hudi和Alluxio将数据摄取时间缩短一半。此外,数据分析人员如何使用Presto、Hudi和Alluxio让查询速度提高了10倍。我们基于数据编排为数据管道的多个阶段(包括提取和分析)构建了数据湖。1.T3出行数据湖总览T3出行当前还处于业务扩张期,在构建数据湖之前不同的业务线,会选择不同的存储系统、传输工具以及处理框架,从而出现了严重的数据孤岛
2022-02-27 20:16:04 259
原创 【技术调研】Apache CarbonData、Hudi及Open Delta的对比研究
背景我们已经看到,人们更热衷于高效可靠的解决方案,拥有为数据湖提供应对突变和事务处理的能力。在数据湖中,用户基于一组数据生成报告是非常常见的。随着各种类型的数据汇入数据湖,数据的状态不会一层不变。需要改变各种数据的用例包括随时间变化的时序数据、延迟到达的时延数据、平衡实时可用性和回填、状态变化的数据(如CDC)、数据快照、数据清理等,在生成报告时,这些都将被写入/更新在同一组表。由于Hadoop分布式文件系统(HDFS)和对象存储类似于文件系统,因此它们不是为提供事务...
2022-02-27 20:13:17 179
原创 Flink on Yarn 原理剖析及实践
Flink 架构概览Flink 架构概览–Job用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务,它会生成一个JobGraph。JobGraph 是由 source、map()、keyBy()/window()/apply() 和 Sink 等算子组成的。当 JobGraph 提交给 Flink 集群后,能够以 Local、Standalone、Yarn 和 Kubernetes 四种模式运行。Fl
2022-02-22 21:40:32 263
原创 【亲测有效】root安装软件和无需root权限两种方法linux点对点网络测速,网速测试,带宽测速,局域网测速
wget https://github.com/HewlettPackard/netperf/archive/refs/tags/netperf-2.7.0.tar.gztar xvpf netperf-2.7.0.tar.gzcd netperf-netperf-2.7.0/./configuremake./src/netserverStarting netserver with host 'IN(6)ADDR_ANY' port '12865' and f...
2022-02-21 21:19:02 452
原创 【亲测有效】上网带宽速度测试-centos7.9
[xxx~]# wget https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.py[xxx~]# python speedtest.pyRetrieving speedtest.net configuration...Testing from China Telecom (x.x.x.x)...Retrieving speedtest.net server list...Selecting best se.
2022-02-21 20:12:40 390
原创 【亲测有效】使用 PM2 管理非 Node.js 程序
frp需要一直运行,不想写守护服务,就直接使用 PM2 进行了管理。PM2 管理命令行程序可以使用pm2 start -x './frps' -n frp -- -c ./frps.ini来启动,注意 -x 是说明程序是可以执行程序,-- 后边的参数是传给命令行。PM2 管理 Python 类的程序,可以使用pm2 start server.py --interpreter python -n ssr -- -p 8888 -m aes-256-cfb -O auth_aes128_md5 -o .
2022-01-15 01:11:45 1008
原创 数据集收集-包含《COVID-19》,《英国在线零售业务》,《电商行业用户行为分析数据集》,《电商婴儿用户》,《亚马逊手机》等17个数据集,用于数据分析挖掘,kaggle比赛练习
COVID-19数据集本数据集记录了2019年12月01日至2020年7月24日,每日精确到国家、省、市的确诊、疑似、治愈、死亡人数。2020年02月07后数据从今日头条接口采集,每小时57分自动更新。国家、省级历史数据会根据卫健委数据更新,市级历史数据与卫健委数据有差异(略小于)。提供CSV、JSON格式数据。通过本数据集,可以了解COVID-19爆发以来,国内各省和国外国家疫情变化情况。使用机器学习知识对其进行充分的挖掘,并以直观的形式表达出来。来源/收集过程:GitHub - canghai
2021-12-21 09:45:15 1447
原创 [亲测有效]Ubuntu 18.04/18.10快速开启Google BBR的方法
说明:Ubuntu 18.04前几天发布了,改变挺大的,内核也直接升到了正式版4.15,而BBR内核要求为4.9,也就是说满足了,所以我们不需要换内核就可以很快的开启BBR,这里简单说下方法。提示:Ubuntu 18.10依然可以用该方法开启BBR,而对于19.04和20.04、貌似官方直接给你开启了BBR,不需要重复开启了。方法1、修改系统变量echo "net.core.default_qdisc=fq" >> /etc/sysctl.confecho "net.ip
2021-12-06 21:45:07 666
原创 【亲测有效】linux ubuntu18.04 解决动态获取的dnsname无法解析某些域名的问题,保持dhcp,单独设置一个可以解析的dnsname
1,查看操作系统版本:~$ cat /proc/versionLinux version 5.0.21-****** (gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)) #4 SMP Thu Dec 3 13:11:27 UTC 20202,查看当前的dns server信息:~$ systemd-resolve --statusGlobal DNS Servers: 114.114.114.114
2021-11-25 14:54:41 2390
原创 win10 python pip 国内源 国内镜像加速 win10加速安装各种软件.centos ubuntu Conda配置国内镜像源【亲测可用】【解决方案】
1.在C:\Users\用户名\ 下创建 pip 文件夹2.在文件夹内创建pip.ini 文件, 添加如下内容:[global] timeout = 6000 index-url = https://pypi.tuna.tsinghua.edu.cn/simple trusted-host = https://pypi.tuna.tsinghua.edu.cn 然后保存ok!...
2021-08-06 14:05:05 526
量化交易最佳论文 量化交易技术
2023-03-31
中国期货市场微观特征因子及微观交易策略-以股指期货为例(龚博士).mp3 中国期货市场微观特征因子及微观交易策略-以股指期货为例
2023-03-30
大咖深度分享 CTA策略主要研究方式及发展方向
2023-03-30
cocos2d-x实战项目
2022-09-04
A White Paper on Neural Network Quantization-2106.08295
2022-09-03
深度学习模型图绘制.ML Visuals by dair.ai
2022-09-03
大数据典藏版合集 大数据典藏版合集 大数据典藏版合集
2022-07-28
netperf-netperf-2.7.0 源码,ubuntu编译好的二进制,可执行,无需root。
2022-02-21
netperf-netperf-2.7.0 服务器端,点对点网速测试,ubuntu通用。可以直接测试。绿色,无需root权限
2022-02-21
netperf-netperf-2.7.0 客户端,点对点网速测试,ubuntu通用。可以直接测试。绿色,无需root权限
2022-02-21
数据集整理-17个数据集.docx
2021-12-21
2016_ECCV_CTPN.pdf
2021-07-06
天池-零基础入门数据挖掘-心跳信号分类预测-baseline说明-代码-跑出来的结果-555分.rar
2021-03-16
最新yolov5 release版本 v4.0 yolov5-4.0.zip
2021-03-01
最新yolov5 release版本 v4.0 预训练好的权重文件 yolov5_releases_tag_v4.0_weights-20210105.zip
2021-03-01
linux ubuntu18.04 英伟达驱动 实测能装上 识别1080ti 1070ti显卡 NVIDIA-Linux-x86_64-460.39.run
2021-02-27
递推课件-ACM 程序设计
2009-08-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人