haerxiluo的博客

原创 基于Idea的Spark大数据分析--scala

问题重述• 基于Eclipse或IDEA完成Spark大数据分析• Spark1.x或2.x版本均可• 能够读取给定的数据文件• 出租车GPS数据文件（taxi_gps.txt）• 北京区域中心坐标及半径数据文件(district.txt)• 能够输出以下统计信息• A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？• B：北京每个城区的车辆位置点数（每辆车有多个位置点，允许重复）开发环境：Spark版本 spark-2.1.1-bin-hadoop2.7Scala版

原创 Linux服务器数据迁移及硬盘挂载

现在需要将系统盘里的大文件迁移到硬盘中。

原创 git clone报错 RPC failed； curl 92 HTTP/2 stream 5 was not closed cleanly: CANCEL (err 8)

git clone时显示RPC failed;很可能是由于HTTP/2通信协议导致的问题。

原创 图神经网络聚类综述

图聚类的目的是将图中的节点划分为几个不同的簇，这是一项基本但具有挑战性的任务。得益于深度学习强大的表示能力，深度图聚类方法近年来取得了巨大的成功。但相应的调查论文相对匮乏，对这一领域做一个总结迫在眉睫。从这个动机出发，我们对深度图聚类进行了全面的调查。首先，我们介绍了公式化的定义，评价和发展在这一领域。其次，基于四个不同的标准，包括图类型，网络架构，学习范式，和聚类方法的深度图聚类方法的分类。第三，我们仔细分析了现有的方法，通过广泛的实验，总结了挑战和机遇，从五个方面，

原创 Simple Contrastive Graph Clustering论文阅读

对比学习由于其良好的性能最近在深度图聚类中引起了广泛的关注。然而，复杂的数据扩充和耗时的图卷积操作破坏了这些方法的效率。为了解决这个问题，我们提出了一个简单的对比图聚类（SCGC）算法，从网络架构，数据增强，目标函数的角度改善现有的方法。在体系结构上，我们的网络包括两个主要部分，即预处理和网络骨干。一个简单的低通去噪操作进行邻居信息聚合作为一个独立的预处理，只有两个多层感知器（MLP）被包括作为骨干。

原创 Dink-Net：Neural Clustering on Large Graphs论文阅读及复现

对于属性图G，深度图聚类算法旨在将节点分组到不相交的聚类中。具体地，自监督神经网络F如下将G中的节点嵌入到潜在空间中。其中H ∈ R N×d 表示节点嵌入，d是潜在特征的维数。在这里，自监督网络F是用诸如重构任务、对比任务、区分任务等的文本前任务来训练的。除了编码之外，聚类方法C被设计成如下将节点分组到不同的聚类中其中K是聚类的数量，其可以是聚类方法C中的超参数或可学习参数。结果ȳ ∈ R N是聚类分配向量。

原创 医学图像视网膜血管分割综述

每年，世界各地都有许多人因不同类型的眼病而失明。一般来说，全世界约有22亿人患有眼睛和视力问题。眼科疾病治疗的主要问题之一是在早期阶段发现疾病。有些人不容易接触到眼科医生。此外，有些人因为各种原因拒绝每年进行眼科检查。另一方面，从视网膜图像诊断眼部疾病是一项耗时、困难的任务，并且它会受到不同专家意见的影响。因此，需要一种智能系统，其自动从原始眼底图像中提取视网膜血管并将其提供给专家进行诊断和治疗。使用视网膜血管的图像来识别各种疾病，包括年龄相关性黄斑变性、糖尿病视网膜病变（DR）、心血管和青光眼。

原创 多模型的ROC曲线绘制

ROC曲线是一种评估分类器性能的图形工具，它以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制。

原创 【NLP项目-文本分类】划分测试集，训练集，验证集

本篇文章的主要任务是将自己的数据集使用在Chinese-Text-Classification-PyTorch项目中github地址:数据集：二分类的文本数据，做情感分析，review为评论内容，label分为1,0正负项。

原创 Python Selenium使用cookie实现自动登录WB

模拟登录微博是实现微博网页爬虫的第一步，现在的微博网页版有个sina visit system，只有登录过后才能获取更多微博内容。本文使用selenium通过预登陆保存cookie到本地，之后重复登录只需要提取本地cookie即可免去每次扫码或者输密码登录。............

原创 文本情感分析综述笔记

文本情感分析(Sentiment Analysis)是指利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程。本文用简短篇幅概览文本情感分析领域的应用场景，具体流程和未来前景。......

原创 《李宏毅2022机器学习》HW1 记录

李宏毅机器学习2022作业HW1记录

原创 使用Selenium及Requests多线程批量爬取浏览器图片

通过对一万张谷歌图片的爬取(需要科学上网)，快速上手Selenium与Requests两大爬虫工具，本文思路是先通过selenium定位谷歌图片网页链接并将链接存到本地上，再用requests库对本地上的图片链接进行爬取。以上就是今天要讲的内容，本文通过selenium和requests爬取大量谷歌图片，需要注意的重点是，谷歌图片下拉的操作需要时间加载，所以用selenium模拟下拉操作非常重要。以及url和浏览器缓存图片的区别。.................................

原创 Keras报错：ValueError: (‘`tf.compat.v1.keras` Optimizer (‘, ＜keras.optimizer_v1.SGD

问题描述版本：Keras 2.6 ，Tensorflow 2.6自定义调整学习率参数lr错误from keras.optimizer_v1 import SGDmodel.compile(loss='mean_squared_error',optimizer=SGD(lr=0.05),metrics=['accuracy'])pycharm报错：ValueError: (‘tf.compat.v1.keras Optimizer (’, <keras.optimizer_v1.SGD o

原创 Pytorch环境搭建问题 import torch 报错：Error 126，找不到指定模块

此问题一般为torch版本太高，本人安装的pytorch是最新版本，cuda是11.5&nbsp；测试pytorch环境import torch 报错：Error 126，找不到指定模块一定对应pytorch，conda虚拟环境中的python版本，cuda版本在官网下载降低一个版本后，问题解决&nbsp；conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3

原创 反转链表（头结点带值与不带值）

NC78 反转链表 描述:给定一个单链表的头结点pHead(该头节点是有值的，比如在下图，它的val是1)，长度为n，反转该链表后，返回新链表的表头。数据范围： n\leq1000n≤1000要求：空间复杂度 O(1)O(1) ，时间复杂度 O(n)O(n) 。如当输入链表{1,2,3}时，经反转后，原链表变为{3,2,1}，所以对应的输出为{3,2,1}。  不带头结点（头结点带值）：代码：class Solution {public: L

原创 二叉树的先中后层序遍历的实现

二叉树是树结构中最容易实现的数据结构，本节介绍二叉树的各种遍历实现形式，分为先序，中序，后序，以及层序遍历。层次遍历是基于树的层次特性确定的次序规则，而先/中/后/序遍历是基于树的递归特性确定的次序规则。    1.先中后序遍历实现 // 二叉树的链式存储及三种递归遍历方式#include <stdio.h>#include <stdlib.h>typedef struct BiTNode{ cha

原创 双向链表的基本操作实现

双链表通过前驱指针与后驱指针解决了单链表无法逆向检索的问题。 1.注意事项两种边界情况：新插入结点在最后一个位置时，需特殊处理。被删除结点是最后一个结点时，需特殊处理。2.代码实现// 带头结点的双向链表#include <stdio.h>#include <stdlib.h>typedef struct DNode{ int data; //数据域 struct DNode *prior,*next; //前项指针，后项指针}DN

原创 单链表操作实现（不带头结点）

不带头结点的单链写代码会复杂一些，具体表现在对第一个数据结点和后续数据结点的处理需用不同的代码逻辑，对空表和非空表的处理需用不同的代码逻辑。  代码实现：代码含增，删，查，头插法建表，尾插法建表，逆置等操作#include <stdio.h>#include <stdlib.h>// 不带头结点的单链表// 对第一个数据结点和后续数据结点的处理需用不同的代码逻辑，对空表和非空表的处理需用不同的代码逻辑typedef struct LNode{

原创 单链表的各种操作实现（带头结点）

最近复习数据结构，链表的各种操作都得重新敲一遍，带头结点链表更易于实现。代码含增，删，查，头插法建表，尾插法建表，逆置等操作#include <stdio.h>#include <stdlib.h>typedef struct LNode{ int data; //数据域 struct LNode *next; //指针域}LNode,*LinkList;bool InitList(LinkList &L){ L = (LNode *)

原创 Centos下 FZ传输文件出错（open for wirte：permission denied）

权限问题给home文件夹权限sudo chmod 777 /home传输成功

原创 Scala自学知识体系

原创 Scrapy结合MongoDB的简单应用

Scrapy结合MongoDB的简单应用1.准备工作首先需要安装Pycharm,Mongodb并导入pymongo模块可以安装可视化工具也可以不用，shell里面也能看2.开淦实例为爬取某网站小说并进行入库操作items.py:import scrapyclass HomeworkItem(scrapy.Item): # define the fields for you...

原创 python scrapy之模拟浏览器的随机更换

scrapy中如果你不修改header的话，默认人家服务器会看到你是spider，有可能拒绝你的访问。1.在settings.py中添加已经设置好的模拟浏览器RANDOM_USER_AGENT = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET ...

原创 关于关系数据库的一些简介

关于关系数据库的一些简介1.概述数据库作为一种专门管理数据的软件就出现了。应用程序不需要自己管理数据，而是通过数据库软件提供的接口来读写数据。至于数据本身如何存储到文件，那是数据库软件的事情，应用程序自己并不关心：2.数据模型数据库按照数据结构来组织、存储和管理数据，实际上，数据库一共有三种模型：层次模型网状模型关系模型关系模型把数据看作是一个二维表格，任何数据都可以通过行号...

原创 关于TCPIP的一些简单概述

关于TCP/IP的一些简单概述T C P / I P起源于6 0年代末美国政府资助的一个分组交换网络研究项目，到 9 0年代已发展成为计 算机之间最常应用的组网形式。它是一个真正的开放系统，因为协议族的定义及其多种实现 可以不用花钱或花很少的钱就可以公开地得到。它成为被称作“全球互联网”或“因特网 ( I n t e r n e t )”的基础1.1 分层T C P / I P通常被认 为...