独醉的博客

原创 爬取某视频网站评论并进行情感分析

爬取youtube视频评论并进行情感分析一、参考代码二、修改后的代码三、申请google api四、爬取评论（可以选择爬取多少赞以上的评论，需要科学上网）五、对评论进行情感分析对积极和消极评论进行分类，使用的是朴素贝叶斯分类器，并计算积极评论和消极评论的占比六、对评论进行分词，词频高的通过词云进行可视化七、调用爬虫运行driver.py八、本项目的特点1.可以爬取多个网址，并对爬取的所有评论进行整...

原创 pycharm和anaconda的安装与配置

pycharm和anaconda的安装与配置一.下载与安装pycharm包含pycharm与anaconda的安装包1.自定义安装路径    这个安装目录可以不在C盘，后期占用空间较大，不建议装在C盘（建议路径中不要有中文字符）2.关联.py文件3.进行安装4.安装完成后打开选择不导入环境5.进入settings选项    发现pycharm所带的解释器的库只有两个，很...

原创 搭建日志服务器

搭建日志服务器本人用了两个centos7虚拟机，一个作为客户端，一个作为服务器，搭建了一个日志服务器，步骤如下：1.客户端：172.20.10.8修改 /etc/rsyslog.conf 添加syslog.info @server IP...

原创 Unet分割直肠肿瘤图像

最近做了一个关于分割直肠肿瘤的项目，用的是Unet模型，从一开始就遇到了许许多多的问题，比如读dcm图像的问题，训练结果全黑或全灰的问题，但功夫不负有心人，经过几个星期的调试，最终终于得到了还不错的结果。下面想给大家分享一下我的源码，并说明一下相关问题的解决方法。我会分块对代码进行分析，为了大家调试方便，只需要将我的代码块从上到下连起来就可以正常运行了。所依赖的库import cv2fro...

原创 angular在ts中引入js文件

angular在ts中引入js文件一、在全局引用js文件二、在局部引用js文件1.将引入的js文件封装成函数2.配置angular.json3.在相应的ts中声明4.调用js文件中的函数一、在全局引用js文件在angular项目的index.html中直接引用即可，这里引用的js是整个项目全局都可以使用的，但只有在index.html中才能引用，在其他的html页面直接引用js是不行的二、在局部引用js文件1.将引入的js文件封装成函数这是一个使用echarts构造树图的js文件，因为在ts文件

原创 遗传算法python实现

遗传算法python实现一、问题引入二、遗传算法的步骤1.初始化2.个体评价3.选择运算4.交叉运算5.变异运算6.终止条件判断三、实现思路1.编码的设计2.适应度函数3.选择函数4.交叉函数5.变异函数6.迭代四、具体实现1.编码解码函数2.适应度函数3.选择函数4.交叉函数5.变异函数6.选择群体中最优个体7.主函数一、问题引入        下面看一个求最优解的函数问题，这里告诉我们x的范围为(-1,2)，需要我们找

原创 基于storm的电商可视化大屏

基于storm的电商销售量大屏一、项目需求二、项目架构模型三、代码结构1.订单实体类2.模拟消息生产者3.消息消费者ProcessOrderBoltRealBoardTopology4.Redis使用工具类四、环境搭建1.storm集群搭建2.kafka搭建（1）下载并解压（2）安装zookeeper（3）配置kafka3.redis集群搭建五、环境启动1.启动zookeeper2.启动kafka3.启动redis4.启动storm六、运行项目1.提交拓扑到storm集群2.qi一、项目需求对某一电商平

原创 Flink实现实时热门商品展示

Flink实现实时热门商品展示一、案例介绍二、数据准备三、代码总览三、代码运行1.在IDEA中运行代码2.在集群上运行代码一、案例介绍这里的实时热门商品展示即每隔五分钟输出最近一个小时内点击量最多的N个商品，实现思路如下：抽取出业务时间戳，告诉Flink框架基于业务时间做窗口过滤出点击行为数据按一小时的窗口大小，每5分钟统计一次，做滑动窗口聚合按每个窗口聚合，输出每个窗口中点击量前N名的商品二、数据准备这里我们的数据使用的是淘宝用户行为数据集。数据集包括淘宝上某一天随机一百万用户的所有行为

原创 Flink初级实践

Flink初级实践一、安装netcat二、构建Flink项目1.创建maven项目2.编写代码3.本地运行代码4.集群上运行代码一、安装netcat为了模拟输入流需要使用netcat工具，下载地址如下：链接：https://pan.baidu.com/s/1mNuLCcQzRwu8R01gY5HCmQ提取码：g336解压后将nc.exe复制到C:\Windows\System32的文件夹下进行测试使用下面命令连接9000端口，向本机9000端口发送数据nc -l -p 9000使

原创 Oracle 数据库闪回

Oracle 数据库闪回一、闪回技术的7个特性二、Oracle 数据库的4种SCN1.系统检查点 SCN2.数据文件 SCN3.结束 SCN4.数据文件头 SCN三、闪回操作1.查询闪回2.基于时间的查询闪回3.基于 SCN 的查询闪回4.闪回版本查询5.闪回事务查询6.表闪回7.删除闪回8.闪回数据库设置闪回数据库环境数据库闪回9.归档闪回       Oracle10g 之前的数据库系统中,当发生数据丢失、用户误操作等问题时,解决问

原创 Oracle RMAN 备份与恢复

这里写目录标题一、RMAN 备份与恢复1.RMAN备份（1）连接数据库（2）通道分配（3）RMAN 备份类型（4）BACKUP 命令（5）FORMAT 参数替换变量2.RMAN 恢复(1)数据库进行完全介质恢复（2）表空间的恢复（3）恢复数据文件（4）恢复控制文件二级目录三级目录一、RMAN 备份与恢复       RMAN (Recovery Manager)是 Oracle 恢复管理器的简称，是集数据库备份（Backup）、还原（

原创 集群技术概述

集群技术概述一、集群的起源二、集群的优点1.强扩展能力2.实现方式容易3.高可用性4.易管理性三、集群的类型1.负载均衡集群2.高可用性集群3.高性能集群四、集群的特点1.心跳监测2.漂移IP地址五、集群的应用1.石油地震数据处理2.数值天气预报一、集群的起源        集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就开始了对集群系统的研究和开发。由于主要用于科学工程计算，所以这些系统并不为大家所熟知。直

原创 Flink集群搭建

Flink集群搭建一、下载与解压二、配置Flink1.设置环境变量2.配置flink-conf.yaml3.配置masters4.配置workers三、将Flink同步到从节点四、启动Flink集群五、提交任务1.以UI的方式提交2.命令行提交一、下载与解压下载地址：https://flink.apache.org/zh/downloads.html注意：下载的版本要与自己的scala版本一致，我想要下最新的1.12版本，我安装的scala版本为2.11，所以要下载1.12版本对应scala2.11版

转载 浅谈RAID

浅谈RAID一、RAID概述二、基本原理三、RAID的优点1.大容量2.高性能3.可靠性4.可管理性四、关键技术1.镜像2.数据条带3.数据校验五、RAID等级1.RAID02.RAID13.RAID24.RAID35.RAID46.RAID57.RAID6六、总结与展望一、RAID概述        1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redunda

原创 命名实体识别实战（BERT）

命名实体识别实例（BERT）一、背景二、数据预处理三、训练模型四、对预测结果进行转换一、背景本实例是当时参加第八届泰迪杯数据挖掘挑战赛C题的一部分，该赛题是智慧政务方面的，主要是根据群众的留言来了解民意第二问是挖掘热点问题，为了先识别出问题发生的地点，涉及的任务以及问题本身，我们先对留言做了命名实体识别以支撑后续对热点问题的挖掘所给的数据如下下面我们要做的就是对留言主题和留言详情中的数据进行命名实体识别。整个项目的代码如下：链接：https://pan.baidu.com/s/1s

原创 Oracle数据库备份与恢复

Oracle数据库备份与恢复一、脱机备份与恢复1.脱机备份获取数据文件列表获取控制文件列表获取联机重做日志文件列表备份测试2.脱机恢复二、联机备份与恢复1.将数据库转换为归档模式2.联机备份3.联机恢复三、不完全恢复1.基于 cancel 的恢复2.基于时间点的恢复3.基于 SCN 的恢复四、使用EXP/IMP命令导出/导入数据1.EXP 导出命令概述2.EXP导出3.IMP 导入命令概述导入表导入方案导入数据库五、使用OEM导出/导入数据1.备份准备2.使用 OEM 导出数据3.使用 OEM 导入数据一

原创 Oracle数据库安全管理

Oracle数据库安全管理一、用户管理1.新建用户2.修改用户3.删除用户二、权限管理1.系统权限管理（1）系统权限的授予（2）系统权限的收回2.对象权限管理（1）对象权限的授予（2）对象权限的回收3.查询用户与权限三、角色管理1.创建用户角色2.管理用户角色（1）修改角色（2）授予角色权限（3）取消角色权限（4）将角色授予用户（5）角色启用和禁用（6）收回用户角色四、概要文件1.口令策略参数2.资源限制参数3.使用概要文件管理口令（1）锁定账户（2）终止口令（3）口令历史（4）口令校验4.使用概要文件管理

原创 spark-sql实践

spark-sql实践一、安装anaconda二、配置jupyter notebook三、案例分析四、遇到的问题1.找不到spark2.找不到python一、安装anaconda安装包链接链接：https://pan.baidu.com/s/1dvNVT4VW34SW4EVoZRqNgA提取码：batk二、配置jupyter notebookjupyter notebook --generate-configpython -c "import IPython; print(IP

原创 使用Protege构建知识图谱

使用Protege构建知识图谱一、创建类二、创建类间关系三、创建类的属性四、创建实例1.创建国家实例2.创建武器实例3.创建实例间的关系4.创建实例的属性五、图谱展示这里我所构建的是关于武器的知识图谱，类分为国家和武器，国家和武器之间是制造关系，武器有自己的属性一、创建类首先创建两个大类分别是国家和武器，武器下面分为五个小类，分别为冲锋枪、手枪、步枪、轻机枪、重机枪二、创建类间关系创建类之间的关系为制造三、创建类的属性创建三个属性分别是发明时间、口径、射程四、创建实例1.创建国家

原创 Oracle数据库管理与OEM基本操作

Oracle数据库管理与OEM基本操作一、数据库表空间及表管理1.创建表空间2.创建数据表通过PLSQL Developer创建表ZFT1通过命令行创建表ZFT23.对建立的数据表进行管理对表ZFT1插入数据修改多列的值删除一行数据截断表二、数据库GUI管理1.打开GUI管理界面2.使用OEM创建表空间三、创建用户并给该用户指定表空间一、数据库表空间及表管理1.创建表空间首先打开SQL Plus登录System用户连接TEST数据库创建表空间zf1，其中dbf文件所在的目录必须提前创

原创 Oracle数据库安装与配置

Oracle数据库安装与配置一、数据库安装二、网络配置1.Oracle监听配置2.本地网络服务名配置三、数据库创建四、数据库连接与测试五、遇到的问题及解决这里所使用的是Oracle Database 11g发行版一、数据库安装首先点击安装目录下的setup.exe电子邮件可以不填写直接下一步选择仅安装数据库软件然后下一步选择单实例数据库安装然后下一步选择使用的语言选择数据库版本，这里我使用的是企业版，然后下一步设置安装的目录，软件位置要是Oracle基目录的子目录这里会对机器

原创 使用Flume作为Spark Streaming数据源

使用Flume作为Spark Streaming数据源一、安装Flume二、使用netcat数据源测试Flume三、使用Flume作为Spark Streaming数据源一、安装Flume链接：https://pan.baidu.com/s/1fE8YStngEVY3ixFN0qOPRA提取码：519w对其进行解压tar -zxvf apache-flume-1.7.0-bin.tar.gz测试是否安装成功./bin/flume-ng version二、使用netcat数据源测试

原创 基于docker的storm集群搭建

基于docker的storm集群搭建一、创建docker容器1.创建storm的局域网2.创建主节点的容器3.创建从节点容器4.配置hosts文件二、搭建zookeeper集群1.配置java环境2.下载zookeeper安装包3.将安装包发送到docker容器中4.对zookeeper进行配置5.配置环境变量6.将zookeeper发送到从节点7.启动zookeeper集群三级目录一、创建docker容器我所使用的镜像是ubuntu的镜像1.创建storm的局域网docker network cr

原创 RDD编程初级实践

RDD编程初级实践一、spark-shell交互式编程1.该系总共有多少学生2.该系共开设了多少门课程3.Tom同学的总成绩平均分是多少4.求每名同学的选修的课程门数5.该系DataBase课程共有多少人选修6.各门课程的平均分是多少7.使用累加器计算共有多少人选了DataBase这门课二、编写独立应用程序实现数据去重三、编写独立应用程序实现求平均值问题一、spark-shell交互式编程数据集链接：链接：https://pan.baidu.com/s/1H3EscjvJxpz-kjD11bqUeA

原创 IDEA连接spark集群

IDEA连接spark集群写在前面一、安装Scala插件二、新建一个Maven项目三、编写pom.xml文件四、导入Scala环境五、编写Scala程序并提交给集群写在前面我所使用的spark集群是基于docker搭建的，一共三个节点，一个master和两个slave，安装过程参考我之前的博客https://blog.csdn.net/weixin_43622131/article/details/110098712宿主机使用的是windows10专业版一、安装Scala插件搜索Scala，下载

原创 基于docker的spark-hadoop分布式集群搭建

基于docker的spark-hadoop分布式集群搭建一、docker的安装1.windows10专业版安装2.windows10家庭版安装3.对docker进行测试4.创建需要的镜像与容器二、环境的配置1.更换apt源2.安装必要的网络工具3.将master提交作为基础镜像4.在镜像基础上创建slave1和slave2三、完全分布式hadoop的搭建1.系统配置IP分配主机名设置配置hosts重启网络检查网络2.创建hadoop账户3.安装和配置JAVA环境下载并解压JDK4.SSH免密登录安装并配置S

原创 设计模式总结（思维导图）

原创 访问者模式（例子+类图+实现）

定义：封装某些作用于某种数据结构中各元素的操作，它可以在不改变数据结构的前提下定义作用于这些元素的新的操作。类型：行为类模式

原创 面向对象设计原则（思维导图）

原创 Hadoop实现KNN算法

本人java基础较弱，有什么需要改进的欢迎大家评论Hadoop实现KNN算法一.环境二.数据说明三.MapReduce设计1.KNN算法的基本思想即传统KNN算法的的性能瓶颈2.并行化KNN设计思想3.map函数设计4.reduce函数设计四.实现步骤1.main函数2.map函数实现3.reduce函数实现五.运行结果六.代码总览七.问题与解决八.总结与感悟一.环境ubuntu虚拟机，使用的是伪分布式的hadoop集群（对于做实验使用伪分布式的更方便），代码通过eclipse来提交二.数据说明

原创 Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）

Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）一.环境二.实现步骤1.数据2.主函数3.第一个MapReduceMapReduce4.第二个MapReduceMapReduceSort三.代码总览四.问题与解决1.停用词表共享问题2.实现词频降序问题3.保证字母序问题五.总结与感悟1.不要局限于一个MapReduce2.学会自定义数据类型一.环境ubuntu虚拟机，使用的是伪分布式的hadoop集群（对于做实验使用伪分布式的更方便），代码通过eclipse来提交二.实现

原创 orientdb安装与演示（单机版）

orientdb安装与演示一.安装1.下载2.安装二.演示1.启动2.登录网页端3.通过命令行操作一.安装1.下载链接：https://pan.baidu.com/s/1-poXLjF1DR_C1LTbrknW5w提取码：bmwm2.安装只需要将压缩包使用unzip命令解压即可二.演示1.启动进入到bin目录下 ./server.sh 服务端启动成功2.登录网页端选择你要登录的数据库可以看一下示例数据库的数据节点的类别以及继承关系，比如国家，消费者等边的类别以及

原创 HBase环境搭建和使用

HBase环境搭建和使用（使用了两台Centos7的虚拟机）一.检查、安装java，设置JAVA_HOME1.下载并解压JDK2. 配置环境变量二.配置SSH免密登录1.生成ssh-key（两台虚拟机都要生成）2.实现免密登录三.下载zookeeper、Hadoop、hbase1.zookeeper2.Hadoop3.hbase四.解压、配置zookeeper，启动，jps看状态1.解压2.配置3.启动五.解压、安装、配置hadoop，分发到其他节点，启动，jps看状态1.解压2.配置3.分发4.启动六.解

原创 windows通过eclipse远程提交代码到完全分布式Hadoop集群

windows通过eclipse远程提交代码到完全分布式hadoop集群windows下安装hadoop环境配置环境变量windows中通过eclipse连接linux上的Hadoop集群实现代码的自动提交（在集群的主节点上提交）实现代码的自动提交（在Windows上提交）windows下安装hadoop环境想要将Hadoop代码提交到linux集群上windows也需要配置Hadoop环境这是我已经把坑都填好的hadoop包，直接解压就可用（bin目录下需要添加的工具我都添加好了，用就完事了）链接

原创 hadoop实现自动打包并提交到集群（完全自动）

话不多说，直接上效果图。可以看到代码是在集群上运行的而不是在本地。而且我所说的自动不是其他博客说的那样还要自己手动打jar包然后在eclipse中通过代码传到集群上，而是在eclipse上运行这段代码会自动把jar包打好然后自动上传到集群上完全不用手！完全不用手！完全不用手！非常方便！！！示例链接：https://pan.baidu.com/s/1KVvwsHLEI0CHdhiwcfIgww提取码：ahzp这是一个倒排索引的例子，data是数据，InvertIndex是mapre

原创 Git命令测试（含结果图）

Git命令测试（含结果图）一、文件添加、提交（一）初始化本地仓库（二）新建一个本地文件hello.txt（三）将该文件进行添加（四）提交本次添加（五）查看本次提交的详情二、文件删除（一）如果只是在工作区删除文件（二）彻底从版本库中删除文件三、查看分支、分支检出（一）查看分支（二）创建新分支test（三）检出分支到test分支（四）在新分支中提交文件1.切换分支之前将新添加的文件提交2.切换分支之前未将新添加的文件提交四、分支合并（有冲突、无冲突）（一）有冲突的合并（二）无冲突的合并五、Git clone（一

原创 白嫖高性能服务器

白嫖高性能服务器创建账号创建项目启动项目小技巧（敲黑板，一定要重点看，不然会有坑哦，不要问我为什么知道，问就是踩过）上传项目小技巧怎样上传小文件所需要的包没有怎么办创建账号https://aistudio.baidu.com/aistudio/projectoverview/private/1我是直接使用的百度账号登录的，但是需要完善一下信息，学校什么的不需要很具体也不会认证，只需要填写即可。创建项目第一个注意事项是配置一定要选Notebook，因为只有这个才能使用高性能服务器，然后是数据集，我

原创 MongoDB集群搭建

MongoDB集群搭建MongoDB安装配置MongoDB的yum源安装MongoDB集群的设计设置配置文件创建目录结构修改配置文件副本集中节点的配置配置服务器节点的配置路由服务器的配置启动mongod分组启动并连接mongos增加分片启动数据分片功能批量插入数据查看分片效果MongoDB安装配置MongoDB的yum源cd /etc/yum.repos.d vim mongodb-or...

原创 ubuntu-18.04.4 Hadoop完全分布式环境安装

我一共使用了三台ubuntu虚拟机，网络使用的是Nat模式，因为配置中涉及到IP，所以建议使用Nat模式固定的IP。ubuntu-18.04.4 Hadoop完全分布式环境安装系统配置IP分配主机名设置配置hosts重启网络检查网络创建hadoop账户SSH免密登录安装Hdoop启动Hadoop用自带的样例测试hadoop集群通过eclipse编写Hadoop代码系统配置IP分配主节点：1...

原创 关于redis创建集群时出现[ERR] Node x.x.x.x:6379 is not empty. Either the node already knows other nodes (check

我遇到这个问题是第一次创建集群失败再次创建的时候遇到的，是由于第一次创建过程中生成的 aof 和 rdb文件以及conf文件造成的需要将其删除首先先kill所有的redis进程查看redis进程ps aux|grep redis然后用kill命令杀死进程kill -9 + pid删除appendonly.aof文件和dump.rdb文件删除appendonly.aof文件r...