qq_34391511的博客

原创 【每日新知识】两台笔记本（均是window系统）使用ssh访问

这里写目录标题实验工具开启ssh服务A开启ssh服务器端B访问A实验工具准备两台笔记本：A : 作为服务器B ：作为客户端根据A、B的角色特性选择开启SSH的服务开启ssh服务安装后，按提示重启。用cmd查看是否安装成功：A开启ssh服务器端用管理员模式打开CMD输入：net start sshdB访问A查看A的ip：ipconfig用B访问A：用户名@ssh 这里写ip地址输入密码即可成功访问A...

原创 【每日新知识】Windows 终端配置

官方文档：https://docs.microsoft.com/zh-cn/windows/terminal/图片配置：需要把图片放在路径：%LOCALAPPDATA%\Packages\Microsoft.WindowsTerminal_8wekyb3d8bbwe\RoamingState下可以使用png,jpeg,gif然后打开终端：在defaults中设置：效果：未完待续。。。...

原创 【每日新知识】Python scipy.sparse模块、COO、CSC、CSR、正则化

2020.9.7python scipy.sparse模块Coordinate (COO)代码案例思路缺点Compressed Sparse Column (CSC)代码案例思路Compressed Sparse Row (CSR)代码案例思路参考python scipy.sparse模块作用：所给变量变成稀疏矩阵.dailog():稀疏对角矩阵参考案例：http://codingdict.com/sources/py/scipy.sparse/8465.htmlCoordinate (COO

原创 算法分析与设计【7】经典算法用python实现

汇总算法代码算法n的因子之和斐波那契数列合并排序快速排序二分查找矩阵连乘（动态规划）背包问题（动态规划）背包问题（贪心算法）哈夫曼编码（贪心算法）代码代码在我的GitHub上：https://github.com/foolfun/Some-algorithm-demo...

原创 【20笔试回忆题】美团，百度，搜狗（能够得分的必做题）

2020.9.5美团百度搜狗美团津贴兑换：津贴序列，有连续两个一样的x元的津贴可以变成x+1；这样的最后津贴序列是？输入：序列长度n,序列a输出：经过变换的序列列子：input：5[1, 1, 1, 1, 1]output：3代码：n = 5a = [1, 1, 1, 1, 1]sum_con = 0con = -1while con != 0: con = 0 pre = a[len(a) - 1] i = len(a)-2

原创 【每日新知识】知识图谱

这里写目录标题来源典型应用主要技术1、实体链接（entity linking）2、关系抽取（relation extraction）3、知识推理（knowledge reasoning）4、知识表示（knowledge representation）参考来源知识图谱是谷歌推出的产品类似，facebook提出的社交图谱典型应用1、查询理解（例：基于知识图谱的搜索引擎）2、自动问答3、文档表示主要技术1、实体链接（entity linking）两个任务：实体识别（entity recog

原创 【每日新知识】NLP里的问答（QA）VS 对话系统（Dialogue system）

2020.08.30参考大概有下面几个kbqa基于知识图谱返回一个实体作为答案。open domain qa预测合适答案。reading comprehension找到一个文章中的span回答相应问题。多跳转qa hothop qa。大多多数都是预测任务。对话系统我理解更多指的是对话生成任务。常见的比如seq2seq对话生成等等。希望我的回答能勾帮助到你参考https://www.zhihu.com/question/68140485/answer/815211836https://github.c

原创 【每日新知识】Anserini

2020.8.27Anserini正在研究“DIFFERENTIABLE REASONING OVER A VIRTUAL KNOWLEDGE BASE” from 2020ICLRAnseriniAnserini IR：信息检索工具具体的代码链接：https://github.com/castorini/Anserinipython的api参考：https://www.ctolib.com/mip/castorini-pyserini.html使用到的论文：End-to-EndOpen-Dom

原创 【每日新知识】TF-IDF、最大内积搜索（MIPS）

2020.8.26TF-IDF最大内积搜索（MIPS）参考正在研究“DIFFERENTIABLE REASONING OVER A VIRTUAL KNOWLEDGE BASE” from 2020ICLR遇到一些不大懂的知识点：TF-IDF、最大内积搜索（MIPS）TF-IDFTF-IDF：词频-逆文档词频（term frequency，inverse document frequency）最开始：用于文档关键词提取案例：《中国的蜜蜂养殖》过滤停用词，剩下有实际意义的词“的“，”是“等

原创 【已解决】Pandas按时间快速选取数据的方法

问题如下：安排：# -*- coding: utf-8 -*-import pandas as pd#路径path = './a.xlsx'#sheet_name 代表哪个sheet，0代表第一个；因为是xlsx格式，用read_excel读取data = pd.read_excel(path, sheet_name = 0)#思路：将日期列变为索引，然后排序，便于后面快速筛选data.set_index('日期',inplace=True)data=data.sort_index

原创 【已解决】pyodbc.InterfaceError: (‘IM002‘, ‘[IM002] [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且

用python的pyodbc库连接access数据库的时候出现了这个错误：查了各种资料之后发现，应该是win10系统上没有安装Microsoft Access Diver的驱动，可以用下面的方法来查看是否安装了：win10环境下，到这个路径下：C:\Windows\SysWOW64；C:\Windows\System32然后找到“odbcad32.exe”文件，先到官网下载相应的驱动，我的电脑是2016版本的：https://www.microsoft.com/en-us/download/de

原创 【实操教程】Ubuntu+mysql8.0+Canal1.1.4搭建，虚拟机上搭建canal的踩坑记录

Ubauntu+Canal搭建Ubuntu虚拟机工具过程安装mysql完全卸载安装canal1\检查binlog功能是否有开启2\添加相关用户和权限3\安装Canal服务下载&解压配置DemoUbuntu虚拟机工具1\vmware2\ubuntu镜像过程VMware获取链接：https://pan.baidu.com/s/1YsR03dHL8dj-DyNHvyuDcw提取码：u5mbUbuntu镜像下载：https://ubuntu.com/download/desktop安装过程

原创 【已解决】echarts地图显示不出来的原因居然是，少了一个utf-8！

原创 【已解决】Echarts+Html+LayUI，htlm页面echart重叠

遇到的坑：问题： 加载一个之后，再点击另一个，可能是某个模板设定的问题，导致出现重叠的情况。解决方法： // 基于准备好的dom，初始化echarts实例var div_main = document.getElementById('main')div_main.removeAttribute("_echarts_instance_");var myChart = echarts.init(div_main);成功：...

原创 大数据入门（十二）IDEA上Scala的插件配置

configure-》plugin

原创 算法分析与设计【6】分支限界法

分支限界设计思想影响算法复杂度的因素经典案例背包问题最大团问题货郎问题圆排列问题连续邮资问题其他问题回溯和分支限界的异同

原创 算法分析与设计【5】回溯法

回溯设计思想影响算法复杂度的因素经典案例背包问题分支限界设计思想影响算法复杂度的因素经典案例背包问题最大团问题货郎问题圆排列问题连续邮资问题其他问题回溯和分支限界的异同...

原创 算法设计与分析【4】贪心算法

目录贪心基本思想影响算法复杂度的因素经典案例哈夫曼算法Prim算法&Dijkstra算法Kruskal算法其他问题背包问题的动态规划和贪心算法的不同贪心基本思想影响算法复杂度的因素经典案例哈夫曼算法Prim算法&Dijkstra算法Kruskal算法其他问题背包问题的动态规划和贪心算法的不同...

原创 算法设计与分析【3】动态规划算法

目录动态规划基本思想影响算法复杂度的因素经典案例最短路径背包问题图像压缩最优二叉树动态规划基本思想动态规划的基本思想是将待求解的问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解；这些求解的子问题往往不是相互独立的；另外，在计算过程中需要将所有已解决的子问题的答案记录在一个表中以避免大量的重复计算。影响算法复杂度的因素最优子结构性质子问题的重叠性质经典案例最短路径背包问题图像压缩最优二叉树...

原创 算法设计与分析【7】几个重要问题

问题汇总分治法 vs 动态规划“背包”问题：动态规划 vs 贪心法回溯法 vs 分支限界法分治法 vs 动态规划相同点：这个两个方法都是讲原问题分解为若干个子问题，递归或者迭代的求解子问题，通过子问题的解综合得到原问题的解。这两个算法的复杂度往往会受到子问题的影响。不同点：子问题不同：分治法的子问题要求是相互独立且与原问题相同，而动态规划的子问题可以是相互重叠的。特别的，在计算子问题时，动态规划法会采用备忘录的方法记录子问题的解，以避免大量重复计算。求解方向不同：分治法是自顶向下；动态规划

原创 算法设计与分析【2】分治算法

目录分治设计思想影响算法复杂度的因素经典案例排序问题快速傅里叶变换动态规划设计思想影响算法复杂度的因素经典案例背包问题图像压缩最优二叉树贪心设计思想影响算法复杂度的因素经典案例哈夫曼算法Prim算法&Dijkstra算法Kruskal算法其他问题背包问题的动态规划和贪心算法的不同分治设计思想影响算法复杂度的因素经典案例排序问题快速傅里叶变换动态规划设计思想影响算法复杂度的因素经典案例背包问题图像压缩最优二叉树贪心设计思想影响算法复杂度的因素经典案例哈夫曼算法Pr

原创 算法设计与分析【0】要点

原创 算法设计与分析【1】算法复杂度

目录算法复杂度算法复杂度的大小关系对比化简方法复杂度函数的基本推导过程1 分治设计思想影响算法复杂度的因素经典案例2 动态规划设计思想影响算法复杂度的因素经典案例3 贪心设计思想影响算法复杂度的因素经典案例4 回溯设计思想影响算法复杂度的因素经典案例5 分支限界设计思想影响算法复杂度的因素经典案例算法复杂度算法复杂度的大小关系对比化简方法复杂度函数的基本推导过程1 分治设计思想影响算法复杂度的因素经典案例2 动态规划设计思想影响算法复杂度的因素经典案例3 贪心设计思想影响算法复

原创 大数据入门（十一）win10下Eclipse安装scala

目录ide的下载和安装ide的下载和安装下载IDE：http://scala-ide.org/download/sdk.html解压缩之后运行eclipse.exe：file->new->Scala Project类似于Java在eclipse的操作，可以新建包，scala.class等object HelloWorld { def main(args: Array[String]): Unit = { println("Hello, world!")

原创 【例子】关于NoSql数据库的json数组的增、删、改、查

create table t_stu2( sid text primary key, sname text, score jsonb)insert into t_stu2 values('01','lili','[{"学科":"math","成绩":"90"},{"学科":"english","成绩":"85"}]');insert into t_stu2 values('02','keke','[{"学科":"math","成绩":"89"},{"学科":"english","成绩":"88"

原创 大数据入门（十）win10的Scala和Spark安装

目录scala的下载和安装spark安装和配置scala的下载和安装scala是spark所用到的编程语言下载scala：https://www.scala-lang.org/download/安装：配置环境变量：打开cmd，输入scala测试一下是否安装成功：spark安装和配置下载：http://spark.apache.org/downloads.html安装：将下载包解压在全英文路径下环境配置：将spark的路径配置到环境变量中之前安装过anoco

原创 大数据入门（九）基于win10的Hadoop，java代码进行hdfs操作

目录导包新建项目，及其配置hdfs mkdir的java代码导包打开eclipse，创建共享library：window->Preferences->Build Path->User Libraries->new新建项目，及其配置按下图新建java project，里面的这两个文件在D:\Learning\Hadoop \hadoop-2.8.5\...

原创 大数据入门（八）win10下的wordcount

目录上传文件java project参考上传文件可以直接右击upload也可以参考：大数据入门（六）win10对Hadoop hdfs的基本操作（传送门）java project新建java project：其中WordCount.java【这个是参考了windows10上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例】:package word_cou...

原创 大数据入门（七）win10上eclipse使用Hadoop的配置

目录工具eclipse的Hadoop环境配置参考工具1、jdk1.82、hadoop2.8.33、hadoop-eclipse-plugin-2.8.3.jar【获取hadoop2x-eclipse-plugin的可以参考(release文件夹下):https://github.com/DoubleBirdsU/Hadoop-eclipse-plugin】eclipse的Hadoop环...

原创 大数据入门（六）win10对Hadoop hdfs的基本操作

打开cmd，先启动hadoop，因为之前把sbin放入了环境变量（可参考：大数据入门（五）windows上搭建单机版Hadoop2.8（踩坑记录）），因此在任何路径下，都可以用start-all.cmd来启动Hadoop仍然用jps检查是否启动成功：hdfs的命令基本以hadoop fs开头比如1\创建文件：hadoop fs -mkdir /user2\上传文件：hadoop f...

原创 大数据入门（五）windows上搭建单机版Hadoop2.8（踩坑记录）

目录安装jdk1、下载jdk的包并安装2、配置环境变量3、验证Hadoop安装和配置1、下载Hadoop包及安装2、环境变量配置2、几个文件的配置liunx单机安装参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation安装...

原创 【已解决】win10解决环境变量变成系统/用户变量

问题：在配置jdk的时候因为把%JAVA_HOME%\bin这种带“%”的放到了环境变量path的最前面，导致“环境变量path”变成了“系统/用户变量path”如图：想要变回：方法方法一：在最前面加%SystemRoot%\system32方法二：不要把前面是“%”符号的变量放在最前面...

原创 大数据入门（四）Hadoop集群搭建

目录工具准备服务器准备网络环境准备服务器系统设置JDK环境安装参考工具准备WinSCP、putty、jdk8服务器准备参考：大数据入门（一）环境搭建，VMware15+CentOS8.1配置网络环境准备参考：大数据入门（二）CentOS网络配置服务器系统设置JDK环境安装参考Linux之CentOS7.5安装及克隆Hadoop（二）CentOS7.5搭建Hadoop2.7.6...

原创 大数据入门（三）CentOS网络配置

目录1、配置IP2、修改主机名（便于识别）3、关闭防火墙4、禁用SELinux5、快照1、配置IP这步也可以使用图形化界面里面的设置->网络设置#切到rootsu root #输入命令，CentOS 7自动获取一个IP地址dhclient#修改文件：vi /etc/sysconfig/network-scripts/ifcfg-ens33#ens33是自定义的名字把B...

原创 大数据入门（二）Centos8,JDK配置

目录1、卸载系统自带的jdk2、安装新的jdk3、配置环境变量因为安装jdk使用yum安装比较方便，但是需要联网，因此，jdk的配置需要在网络配置之前1、卸载系统自带的jdk#查看系统是否自带 jdkrpm -qa |grep java#若有信息输出，进行卸载rpm -qa | grep java | xargs rpm -e --nodeps2、安装新的jdk#检查 yum 中...

原创 大数据入门（一）环境搭建，VMware15+CentOS8.1配置

目录材料准备开始安装材料准备1、centos下载链接：http://isoredirect.centos.org/centos/8/isos/x86_64/CentOS-8.1.1911-x86_64-dvd1.iso2、VMware15：网上查找可以很简单的直接获取安装开始安装出现警告之后，移步到...

原创 【实操教程】最简较全的Pycharm自定义配色教程

最简较全的Pycharm自定义配色教程目录自定义背景色代码颜色行号栏宽度，颜色设置光标选定行颜色设置选定代码颜色设置目录自定义背景色代码颜色行号栏宽度，颜色设置光标选定行颜色设置选定代码颜色设置...