工作总结
文章平均质量分 57
菜菜雪丫头
这个作者很懒,什么都没留下…
展开
-
【学习工具与技巧】
1. 清华源下载包$ pip install gensim -i https://pypi.tuna.tsinghua.edu.cn/simple注:在pip的基础上加上*-i https://pypi.tuna.tsinghua.edu.cn/simple*2. Neo4j图数据库Neo4j是图数据库,即数据不是保存在表或集合中,而是保存为节点以及节点之间的关系。Neo4j数据主要由节点、边、属性构成。具体见【Neo4j的简单搭建与使用】和【python操作Neo4j】3.Graphviz原创 2022-03-28 16:37:20 · 759 阅读 · 0 评论 -
【邻接矩阵生成有向图(带权重)】
效果图代码import networkx as nximport matplotlib.pyplot as plt#二维数组生成有向图/无向图class Graph_Matrix: """ Adjacency Matrix """ def __init__(self, vertices=[], matrix=[]): """ :param vertices:a dict with vertex id and index of mat原创 2022-03-28 16:20:56 · 3078 阅读 · 1 评论 -
【SparkSQL小文件的处理方式】
SparkSQL小文件的处理方式(选第三种方式即可解决)自适应执行社区在Spark2.3版本之后的AdaptiveExecute特性之中就能很好的解决Partition个数过多导致小文件过多的问题. 通过动态的评估Shuffle输入的个数(通过设置spark.sql.adaptive.shuffle.targetPostShuffleInputSize实现), 可以聚合多个Task任务, 减少Reduce的个数 。使用方式:set spark.sql.adaptive.enabled=truese原创 2022-03-28 16:07:32 · 3219 阅读 · 1 评论 -
【SSH学习】
什么是SSH?简单说,SSH是一种网络协议(安全外壳协议),用于计算机之间的加密登录。如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。SSH之所以能够保证安全,原因在于它采用了公钥加密。整个过程是这样的:(1)远程主机收到用户的登录请求,把自己的公钥发给用户(2)用户使用这个公钥,将登录密码加密后,发送回来。(3)远程主机用自己的私钥,解密登录密码,如果密码正确,就同意用户登录。SSH基本用法1. SSH远程登陆原创 2022-03-28 15:56:28 · 1366 阅读 · 0 评论