学习工具
奥特慢-QM
一个人,那就跑的快一点。一群人,那就跑的远一点。
展开
-
python list 转为dict
两个list构造字典利用 dict,zipkey =[1,2,3]value = ["a","b","c"]dict(zip(key, value))> {1: 'a', 2: 'b', 3: 'c'}list所有元素对应相同的value(1) dict.zip方式key =[1,2,3]value = ["a"]*len(key)dict(zip(key, value))> {1: 'a', 2: 'a', 3: 'a'}(2)map 方式list(.原创 2020-08-12 11:47:34 · 1515 阅读 · 0 评论 -
python df写入redis
python 中的df通过pipeline 快速写入redisimport pandas as pddf = pd.DataFrame([[1,"a"],[2,"c"],[3,"p"]],columns=["user_id","grand"])df.head() user_id grand0 1 a1 2 c2 3 pimport redisredis = redis.Redis(host="localhost", port=6379,password="123",db=0) #不原创 2020-07-31 10:24:31 · 1139 阅读 · 1 评论 -
Linux - presto-server-0.216安装
1.Presto简介Presto是Facebook推出的一个基于Java开发的大数据分布式SQL查询引擎,可对从数 G 到数 P 的大数据进行交互式的查询,查询速度快(据称性能是hive的10倍以上),Presto 的目标是在可期望的响应时间内返回查询结果,单个 Presto 查询可合并来自多个数据源的数据进行统一分析。适合场景:PB级海量数据复杂分析,交互式SQL查询,⽀持跨数据源查询不适...原创 2019-02-21 10:13:50 · 1470 阅读 · 0 评论 -
本地连接远程服务器jupyter-notebook
1. 条件服务器已安装了Anconda2. 查看python版本[root@slave2 ~]# whereis python原创 2019-11-14 17:46:16 · 627 阅读 · 0 评论 -
Spark yarn模式任务提交
1. Spark yarn模式任务提交Spark yarn模式任务提交有两种,Yarn-cluster,Yarn-client,默认client1.1 名词简介1. ResourceManager是集群所有应用程序的资源管理器,能够管理集群的计算资源并为每个Application分配,它是一个纯粹的调度器。2. NodeManager是每一台slave机器的代理,执行应用程序,并监控应...原创 2019-11-13 10:44:41 · 508 阅读 · 0 评论 -
从 GitHub拉取项目
从GitHub下载项目时需要git 工具,所以先安装git工具1. 安装git1.1 从官网下载:https://git-scm.com/点击后会自动下载。1.2 安装双击下载下来的.exe文件,按默认点击Next进行安装安装完成后在桌面的空百处,右击鼠标多了git gui 和Git bash点击Git Bash,进入git2. 从GitHub拉取项目2.1 找到项目的...原创 2019-03-15 16:42:55 · 1928 阅读 · 0 评论