- 博客(83)
- 收藏
- 关注
RSS订阅原创 shell命令
Shell入门Shell是一个命令行解释器，它接收应用程序和用户命令，然后调用操作系统内核。脚本格式：以#!/bin/bash开头(此句作用是指定/bin/bash解析器)执行方式：bash 脚本名.sh 或者 ./脚本名.shShell变量系统变量：$HOME、$PWD、$SHELL、$USER 案例查看系统变量的值...
2020-11-30 11:19:37
271
转载 Linux nohup命令详解
Linux nohup命令详解nohup命令及其输出文件 今在linux上部署wdt程序，在SSH客户端执行./start-dishi.sh,启动成功,在关闭SSH客...
2020-10-10 16:38:34
2017
原创 左神算法初级班笔记(一)——时间复杂度、对数器、基本排序、递归、小和问题（逆序对）
时间复杂度——分析算法好坏的指标评价一个算法流程的好坏， 先看时间复杂度的指标， 然后再分析不同数据样本下的实际运行时间， 也就是常数项时间。例1：一个简单的理解时间复杂度的例子一个有序数组A， 另一个无序数组B， 请打印B中的所有不在A中的数， A数组长度为N， B数组长度为M。算法流程1： 对于数组B中的每一个数， 都在A中通过遍历的方式找一下；算法流程2： 对于数组B中的每一个数， 都在A中通过二分的方式找一下；算法流程3： 先把数组B排序， 然后用类似外排的方式打印所有不在A中出
2020-09-09 16:42:33
341
原创 牛客SQL实战刷题记录（31-61题）
31.获取select * from employees对应的执行计划explain select * from employees;32.将employees表的所有员工的last_name和first_name拼接起来作为Name，中间以一个空格区分(注：该数据库系统是sqllite,字符串拼接为 || 符号，不支持concat函数)CREATE TABLE `employees` ( `emp_no` int(11) NOT NULL,`birth_date` date NOT N
2020-07-05 17:49:01
422
原创 牛客SQL实战刷题记录1-30题)
1.查找最晚入职员工的所有信息员工表employeesemp_no birth_date first_name last_name gender hire_date 10008 1958-02-19 Saniya Kalloufi M 1994-09-15 排序并限制：select * from employees order by hire_date desc limit 1;//也可select * from emp.
2020-06-24 20:00:17
331
原创 Mysql进阶学习笔记(一）
借鉴掘金小册，小孩子4919MySQL是怎样运行的：从跟上理解MySQLMySQL复习MySQL客户端服务器架构MySQL服务器：与存储数据打交道，对客户端发来的SQL语句进行解析。MySQL客户端：需要用户名和密码登录。MySQL使用流程：1.启动MySQL服务器2.启动MySQL客户端3.客户端对服务器发送请求启动后MySQL服务器进程的默认名称为mysqld，客户端名称为mysql。MySQL的客户端和服务器使用TCP作为网络通信协议，MySQL服务器启动时会默认申请330
2020-06-22 22:41:21
342
转载 Java中Scanner的用法：单行/多行输入
Java的Scanner用法，主要用于算法笔试时的控制台输入1.多行输入以三行输入为例，第一行输入两个数字m，n，分别表示数组num1和num2的长度，第二行和第三行输入num1和num2的元素，以空格分隔。// 输入如下3 410 2 3 11 4 5 6程序如下：import java.util.Arrays;import java.util.Scanner;public class myScanner { Scanner sc = new Scanner(Syst
2020-06-07 18:18:38
4242
1
原创 大数据环境搭建及基本使用
目录大数据环境搭建及基本使用环境搭建：Ubuntu18.04三台虚拟机大数据1.Hadoop hdfs使用2.Hadoop mapreduce使用3.Hive使用4.Hbase使用5.Kafka使用大数据环境搭建及基本使用环境搭建：Ubuntu18.04三台虚拟机大数据记录一下自己搭建三台虚拟机的过程环境总体概述 主节点 IP地址 软件 进程 master
2020-06-01 21:44:47
963
转载 hadoop-hdfs运行原理
发现了一个好文章，转给下方便自己看，大家最好去原文看。地址https://www.cnblogs.com/luengmingbiao/p/11235327.html目录1、HDFS的介绍2、 HDFS的架构与设计 2.1 HDFS的设计 2.2 HDFS核心组件3、HDFS的概念 3.1 数据块 3.2 NameNode（管理节点） 3.3 SecondaryNamenode（辅助NameNode） 3.4 DataNode（工作节点） 3.5 块.
2020-05-28 12:39:10
604
转载 MySQL高级教程（一）——逻辑架构、查询流程、索引
目录mysql逻辑架构1.连接层2.服务层2.1Management Serveices & Utilities：2.2 SQL Interface: SQL接口2.3 Parser: 解析器2.4 Optimizer: 查询优化器2.5 Cache和Buffer： 查询缓存。3.引擎层4.存储层查询流程连接器查询缓存分析器优化器执行器索引优化分析sql查询慢的原...
2020-05-27 21:40:27
992
原创 编程题中常用的java_api
一：import java.util.HashMap;import java.util.Map;Map<String,Intger> m =new HashMap<>(); void clear( ) 从此映射中移除所有映射关系（可选操作）。 boolean containsKey(Object k) 如果此映射包含指定键的映射关系，则返回 true。 boolean conta
2020-05-26 14:23:43
147
原创 大数据学习——资源调度框架 YARN
资源调度框架 YARN1 什么是YARN Yet Another Resource Negotiator, 另一种资源协调者 通用资源管理系统 为上层应用提供统一的资源管理和调度，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处 2 YARN产生背景 通用资源管理系统 Hadoop数据分布式存储（数据分块，冗余存储） 当多...
2020-04-15 11:43:45
475
原创 大数据学习——分布式文件系统HDFS
2.1 HDFS的使用 启动HDFS [hadoop@hadoop00 sbin]$ ./start-dfs.sh Starting namenodes on [hadoop00]hadoop00: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-hadoop-...
2020-04-15 11:35:14
311
转载 大数据学习——配置环境
ubuntu虚拟机安装https://blog.csdn.net/Andrewniu/article/details/88743846jvm+hadoop配置https://blog.csdn.net/kh896424665/article/details/78765175
2020-04-15 11:16:35
197
原创 Ubuntu18.04+GTX 1660ti显卡驱动安装+安装慢+黑屏解决
安装参考，非常感谢作者https://blog.csdn.net/jiangchuanhu/article/details/94381622一、安装环境介绍操作系统：Ubuntu 18.04.4 LTS系统内核：linux-image-5.3.0-42-genericCPU：Intel Core i7-9750H独立显卡：Geforce GTX 1660Ti二、安装Nv...
2020-03-31 09:25:19
7456
12
原创 大数据学习——hadoop概述
1. Hadoop的概念: Apache™ Hadoop® 是一个开源的, 可靠的(reliable), 可扩展的(scalable)分布式计算框架 允许使用简单的编程模型跨计算机集群分布式处理大型数据集 可扩展: 从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储 可靠的: 不依靠硬件来提供高可用性(high-availability)...
2020-03-27 14:17:33
309
原创 让ubuntu18.04中python命令指向python3
发现新装的ubuntu18.04版本中默认安装了python3.6，位置是/usr/lib/python3.6。$python --version 显示没有$python3 --version 显示有3.6版本其实在/usr/lib目录下也有python2.7版本，不知道是没安装或没建立连接反正我的python显示没有该...
2020-03-22 13:40:59
2484
2
转载 Ubuntu 18.04下安装最新CMake及CMake简单使用
https://www.linuxidc.com/Linux/2018-09/154165.htm
2020-03-22 12:19:13
3571
转载 Ubuntu 18.04 下搭建 C/C++编译开发环境及GCC多版本切换
https://www.linuxidc.com/Linux/2019-04/158258.htm
2020-03-22 11:28:37
562
原创 nlp项目（四）——推荐系统评估及冷启动问题
推荐系统评估1 推荐系统的评估指标 好的推荐系统可以实现用户, 服务提供方, 内容提供方的共赢 评估数据来源显示反馈和隐式反馈 显式反馈 隐式反馈 例子 电影/书籍评分 是否喜欢这个推荐 播放/点击 评论 下载 购买 准确性 高 低 数量 少 多 获取成本 ...
2020-03-21 12:20:32
588
原创 nlp项目（三）——推荐算法：协同过滤实战
案例--基于协同过滤的电影推荐学习目标 应用基于用户的协同过滤实现电影评分预测 应用基于物品的协同过滤实现电影评分预测 1 User-Based CF 预测电影评分 数据集下载 下载地址：MovieLens Latest Datasets Small 建议下载ml-latest-small.zip，数据量小，便于我们单机使用和运行 ...
2020-03-21 12:12:22
1289
原创 nlp项目（二）——推荐算法：协同过滤
推荐算法1 推荐模型构建流程Data(数据)->Features(特征)->ML Algorithm(选择算法训练模型)->Prediction Output(预测输出) 数据清洗/数据处理 数据来源 显性数据 Rating 打分 Comments 评论/评价 隐形...
2020-03-21 11:54:15
1984
原创 nlp项目（一）——推荐系统简介及架构设计
1 推荐系统概念 什么是推荐系统 没有明确需求的用户访问了我们的服务, 且服务的物品对用户构成了信息过载, 系统通过一定的规则对物品进行排序,并将排在前面的物品展示给用户,这样的系统就是推荐系统 2 推荐系统设计 推荐系统整体架构 大数据Lambda架构 Lambda架构是由实时大数据处理框架Storm的作者Nathan Marz提出的一个实时大数据处理框架...
2020-03-21 11:19:09
1296
原创 Anaconda3+jupyter更改目录与默认浏览器+Pycharm安装问题汇总
一、Anaconda安装Anaconda是集成开发环境，无论您安装python原生环境没有，都无需管理。 下载地址：https://www.continuum.io/downloads 安装时只需注意这张图，勾选上Add Anaconda to my PATH，and惯例修改路径 安装包：conda install xxx 卸载包：conda uninstall ...
2020-03-16 03:24:08
435
原创 机器学习与大数据基础知识（二）
目录数据集如何对二分类问题进行评价？机器学习的步骤机器学习分类机器学习三要素如何设计机器学习系统模型选择-泛化性能体现正则化交叉验证库介绍数据集 数据集的行：样本 数据集的列：特征 特征组成的空间：特征或属性空间 组成属性空间中的点：特征或属性向量 将数据集切分成训练集和测试集，使用训练集+算法构成模型...
2020-03-10 21:54:12
632
原创 机器学习与大数据基础知识（一）
大数据时代究竟改变了什么？ 改变的是思维 增加了数据重要性：数据资源--->数据资产（增值） 改变了方法论：基于知识的理论完美主义--->基于数据的历史经验主义 改变了数据分析：统计学（抽样）--->数据科学（大数据） 改变计算智能：复杂算法--->简单算法（MapReduce） 改变决策方面：基于目标决策---&g...
2020-03-09 16:08:58
2127
原创 机器学习：数学加强（三）：矩阵与线性代数
矩阵线性代数式的用途：SVD分解有一个m×n的实数矩阵，我们想要把它分解成如下的形式 其中和均为单位正交阵，即有和，称为左奇异矩阵，称为右奇异矩阵 仅在主对角线上有值，我们称它为奇异值，其它元素均为0通常奇异值由大到小排列 例子：公式分解由于是逐渐变小的，那么则前几项的作用力比较大，截取前k项可能就能表示出全部的特征。k值越大、图片越清晰...
2020-03-06 17:17:29
732
原创 机器学习：数学加强（二）——条件概率、贝叶斯公式、常见分布、协方差、相关系数、切比雪夫不等式、大数定律
条件概率、全概率公式、贝叶斯公式常见概率密度分布两点分布二项分布泊松分布均匀分布指数分布正态分布分布总结...
2020-02-28 00:20:45
1047
原创 机器学习：数学加强（一）——常用数学知识点
一、 幂函数一般地，函数叫做幂函数，其中x是自变量，a是常数(我们只讨论a是有理数的情况)．import matplotlib.pyplot as pltimport numpy as npimport mathplt.figure(figsize=(8,8))x = np.linspace(-10,10,500)plt.plot(x,x**3,color='g',label...
2020-02-24 17:48:26
202
原创 LeetCode（一）：Python实现1-100题
1. 两数之和给定一个整数数组 nums和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, ...
2020-02-21 23:09:10
812
原创 Python数据结构与算法（六）——树
树与树算法树的概念树（英语：tree）是一种抽象数据类型（ADT）或是实作这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下的特点：每个节点有零个或多个子节点； 没有父节点的节点称为根节点； 每一个非根节点有且只有一个父...
2020-02-21 11:43:48
276
原创 Python数据结构与算法（五）——排序算法，搜索算法
排序算法的稳定性稳定性：稳定排序算法会让原本有相等键值的纪录维持相对次序。也就是如果一个排序算法是稳定的，当有两个相等键值的纪录R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。然而，假设以下的数对将要以他们的第一个数字来排序。(4, 1) (3, 1) (3, 7)（5, 6）在这个状况下，有可能产生两种不同的结果，一个是让相等键值的纪录维持相对...
2020-02-19 14:13:09
142
原创 Python数据结构与算法（四）——栈与队列
栈栈（stack），有些地方称为堆栈，是一种容器，可存入数据元素、访问元素、删除元素，它的特点在于只能允许在容器的一端（称为栈顶端指标，英语：top）进行加入数据（英语：push）和输出数据（英语：pop）的运算。没有了位置概念，保证任何时候可以访问、删除的元素都是此前最后存入的那个元素，确定了一种默认的访问顺序。由于栈数据结构只允许在一端进行操作，因而按照后进先出（LIFO, Last ...
2020-02-19 13:56:12
295
原创 Python数据结构与算法（三）——链表
链表为什么需要链表顺序表的构建需要预先知道数据大小来申请连续的存储空间，而在进行扩充时又需要进行数据的搬迁，所以使用起来并不是很灵活。链表结构可以充分利用计算机内存空间，实现灵活的内存动态管理。链表的定义链表（Linked list）是一种常见的基础数据结构，是一种线性表，但是不像顺序表一样连续存储数据，而是在每一个节点（数据存储单元）里存放下一个节点的位置信息（即地址）。...
2020-02-17 20:26:24
143
原创 Python数据结构与算法（二）——顺序表
目录顺序表顺序表的基本形式顺序表的结构与实现顺序表的结构顺序表的两种基本实现方式元素存储区替换元素存储区扩充顺序表的操作增加元素删除元素Python中的顺序表list的基本实现技术顺序表在程序中，经常需要将一组（通常是同为某个类型的）数据元素作为整体管理和使用，需要创建这种元素组，用变量记录它们，传进传出函数等。一组数据中包含的元素个数可能发...
2020-02-16 16:52:27
437
原创 Python数据结构与算法（一）——数据结构与算法基础、时间复杂度、列表与字典的时间复杂度
数据结构虐我千万遍，我依然待它如初恋。首先引出一个问题：可以看到对于同样问题使用不同解法（也称算法）时间上的差距。这里用了time模块的time.time()函数来计算时间差。算法是独立存在的一种解决问题的方法和思想。那么如何衡量一个算法的好坏呢？时间复杂度的几条基本计算规则基本操作，即只有常数项，认为其时间复杂度为O(1) 顺序结构，时间复杂度按加法进行计算...
2020-02-16 14:36:56
335
转载 Python Matplotlib 改变坐标轴的默认位置
使用Matplotlib绘制的图表的默认坐标轴是在左下角的，这样对于一些函数的显示不是非常方便，要改变坐标轴的默认显示方式主要要使用gca()方法plt.gca()表示 Get current axis，使用这个方法我们可以获得整张图表的坐标对象，这样我们就可以对坐标进行处理了，像移动位置，设置颜色之类的，类似plt.gcf()这个是 Get current figure 即获得当...
2020-02-16 12:13:39
6806
原创 机器学习数据科学包（十五）——Matplotlib模块：实例
注释.annotate('this is a note', xy=(x1,y1), xytext=(x2,y2), arrowprops={'frac'=0.5,'facecolor':,headwidth':,'width':})其中xy代表箭头起始坐标，xytext代表箭头终止坐标及注释开始位置，arrowpro...
2020-02-13 16:36:43
545
原创 git：项目中遇到的git问题
最近开始尝试使用git与同学一起开发项目，发现只是囫囵吞枣地学习过git知识碰到实际问题还是一头雾水，经常需要去网上再搜索，故把我们现在经常使用的命令记录下来，加深记忆，这些命令都经过测试，可以放心使用。代码改完了才发现分支错了，怎么办？转载：http://www.cnblogs.com/crayfish/p/5719475.html前提是尚未将修改提交到错误的分支>...
2020-02-12 15:22:49
154
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人