![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL
AI生成曾小健
"AI生成曾小健2"是该号副号。AI生成式技术,计算机博士;llama3、Baichuan2、Qwen、GLM-4等等项目贡献人(ArtificialZeng)。这个博客的主题主要是AI生成式技术、AI相关技术、机器/深度学习论文或科研前沿、GNN图神经网络、神经网络,包括人工神经网络和生物神经网络,及其大脑演化,智能和认知的产生,通用人工智能;
如果需要看商科/金融相关的请移步CSDN: 量化交易曾小健(金融号)
展开
-
pandas写入MySQL数据库
import MySQLdbimport pandas as pdfrom sqlalchemy import create_enginehost = 'dbserver_xxx.xxx.com.cn'port = 3306db = 'ai'user = 'xxxxxt'password = 'xxxxx'engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s?charset=utf8") % (user, .原创 2022-03-01 16:19:34 · 1813 阅读 · 0 评论 -
Presto 安装与部署
1. HivePresto 在访问 Hive 中的数据时需要得到 Hive 中的所有元数据信息,因此需要部署一个 HiveMetaStore 服务提供 Hive 的元数据信息。启动 HiveMetaStore 服务的命令如下: nohup hive --service metastore -p 9083 > /Users/smartsi/opt/hive/logs/metastore.log 2>&1 & 上述表示在后台启动 Hive 的 Meta转载 2021-12-16 13:53:49 · 584 阅读 · 0 评论 -
Presto
2.1 存储优化① 合理设置分区与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。② 使用列式存储Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。③ 使用压缩数据压缩可以减少节点间数据传输对IO带宽压力,对于即席查询需要快速解压,建议采用snappy压缩④ 预先排序有条件的话提前做好排序,对于已经排序的数据原创 2021-12-16 11:21:35 · 1045 阅读 · 0 评论 -
presto执行一条查询分为七步
从上面可以看出,所有的查询请求均由 Coordinator进行处理,并将查询结果返回给Client端,那么下面就分析Coordinator是如何处理Client端发送的URI为CoordinatorIP地址:端口/v1/statement,类型为POST的RESTful请求的。前面章节已经介绍过了, Statement的 RESTful请求均由StatementResource类进行处对于URI为 CoordinatorIP地址:端口/v1/statement,类型为POST的 RESTful请求,由..原创 2021-12-16 11:11:59 · 650 阅读 · 0 评论 -
presto安装及使用 1
cd /home/reclab./presto --server localhost:8080 --catalog hive --schema default--help 查看帮助./presto --server localhost:8080 --catalog hive --schema default --help原创 2021-12-15 11:42:33 · 576 阅读 · 0 评论 -
180. 连续出现的数字 SQL
SELECT DISTINCT l1.Num AS ConsecutiveNumsFROM Logs l1, Logs l2, Logs l3WHERE l1.Id =l2.Id-1 AND l2.Id =l3.Id-1 AND l1.Num =l2.Num AND l2.Num =l3.NumSELECT DISTINCT l1.Num AS ConsecutiveNumsFROM L...原创 2021-12-06 16:32:11 · 555 阅读 · 0 评论 -
2021-09-01175. 组合两个表 SQL
表1: Person+-------------+---------+| 列名 | 类型 |+-------------+---------+| PersonId | int || FirstName | varchar || LastName | varchar |+-------------+---------+PersonId 是上表主键表2: Address+-------------+---------+| 列名 ...原创 2021-09-01 11:51:45 · 63 阅读 · 0 评论