- 博客(239)
- 收藏
- 关注
RSS订阅原创 windows部署免安装版python
一、到官网下载Windows x86-64 embeddable zip二、下载get-pip.py，并安装pip.\python.exe get-pip.py三、打开目录下的python37._pth，去掉import site前的注释，然后就可以使用pip安装依赖了。Scripts\pip.exe install -r requirements.txt...
2021-01-11 14:07:01
684
原创 maven离线安装jar包
一、首先到mvnrepository下载jar包，示例如下：<dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-ip</artifactId> <version>5.3.4.RELEASE</version></dependency>二、安装命令
2020-11-17 15:41:40
1780
原创 ubuntu安装sqoop1.4.7
一、安装Sqoop解压并修改权限sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata/cd /opt/bigdata/sudo mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7sudo chown -R hadoop:hadoop sqoop-1.4.7/配置环境变量export SQOOP_HOME=/opt/bigdata/sqoop-1.4.7expor
2020-09-19 23:08:00
416
原创 virtualbox中windows虚拟机安装增强功能
依次点击虚拟机菜单栏的 设备>>>安装增强功能，在光驱中可以看到新增的文件。双击VBoxWindowsAdditions运行安装程序。
2020-09-19 18:06:29
2071
原创 ubuntu安装spark-2.4.7-bin-without-hadoop
一、安装Spark解压安装sudo tar -zxvf spark-2.4.7-bin-without-hadoop.tgz -C /opt/bigdata/cd /opt/bigdata/sudo mv spark-2.4.7-bin-without-hadoop/ spark-2.4.7sudo chown -R hadoop:hadoop spark-2.4.7/配置环境变量export SPARK_HOME=/opt/bigdata/spark-2.4.7export PA
2020-09-19 11:32:49
1525
原创 ubuntu下安装hbase2.2.6
一、安装HBase解压安装sudo tar -zxvf hbase-2.2.6-bin.tar.gz -C /opt/bigdata/cd /opt/bigdata/sudo chown -R hadoop:hadoop hbase-2.2.6/配置环境变量export HBASE_HOME=/opt/bigdata/hbase-2.2.6export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile配置conf/hbase-env
2020-09-19 10:19:52
634
原创 ubuntu安装hive2.3.7
一、配置MySQL创建数据库create database hive;创建hive用户create user 'hive'@'%' identified by 'hive';授权grant all on *.* to hive@'%' identified by 'hive';flush privileges;二、安装hive解压安装sudo tar -zxvf ./apache-hive-2.3.7-bin.tar.gz -C /opt/bigdatacd /o
2020-09-19 01:16:16
298
原创 ubuntu安装hadoop2.9.2
一、创建hadoop用户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sudo二、配置SSH免密码登陆安装SSH软件sudo apt-get install openssh-server给hadoop用户配置密钥# 若没有该目录，请先执行一次ssh localhost，再exitcd ~/.ssh/ ssh-keygen -t rsacat ./id_rsa.pub >>
2020-09-18 21:41:46
247
原创 机器学习算法（三）: 基于支持向量机的分类预测
1算法实战## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn import svm##Demo演示LogisticRegression分类## 构造数据集x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]]
2020-08-28 07:35:34
246
原创 机器学习算法（二）：基于决策数的分类预测
1.决策树决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：模型容易过拟合，需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限，无法达到其他强监督模型效果。方差较高，数据分布的轻微改变很容易造成树结构完全不同。2.算法实战## 基础函数库import numpy as np ## 导入画图库import
2020-08-21 22:45:01
298
原创 机器学习算法（一）: 基于逻辑回归的分类预测
Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于二分类问题，利用了Logistic函数(或称为Sigmoid函数)，函数形式为:logi(z)=11+e−zlog_i(z) = \frac{1}{1+e^{-z}}logi(z)=1+e−z1Step1：库函数导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑
2020-08-19 22:46:14
195
原创 自然语言处理实践Task6
基于Bert的文本分类Bert Pretrainclass WhitespaceTokenizer(object): """WhitespaceTokenizer with vocab.""" def __init__(self, vocab_file): self.vocab = load_vocab(vocab_file) self.inv_vocab = {v: k for k, v in self.vocab.items()} def t
2020-08-05 17:57:21
181
原创 自然语言处理实践Task5
import loggingimport randomimport numpy as npimport torchlogging.basicConfig(level=logging.INFO, format='%(asctime)-15s %(levelname)s: %(message)s')# set seed seed = 666random.seed(seed)np.random.seed(seed)torch.cuda.manual_seed(seed)torch.man
2020-07-29 23:37:11
235
原创 自然语言处理实践Task4
FastTextFastText通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。FastText是一个三层的神经网络，输入层、隐藏层和输出层。# coding: utf-8from __future__ import unicode_literalsfrom keras.models import Sequentialfrom keras.layers import Embeddingfrom keras.layers
2020-07-27 21:32:05
155
原创 自然语言处理实践Task3
One-hot这里的One-hot与数据挖掘任务中的操作是一致的，即将每一个单词使用一个离散的向量表示。具体将每个字/词编码一个索引，然后根据索引进行赋值。One-hot表示方法的例子如下：句子1：我 爱 北 京 天 安 门句子2：我 喜 欢 上 海首先对所有句子的字进行索引，即将每个字确定一个编号：{‘我’: 1, ‘爱’: 2, ‘北’: 3, ‘京’: 4, ‘天’: 5,‘安’: 6, ‘门’: 7, ‘喜’: 8, ‘欢’: 9, ‘上’: 10, ‘海’: 11}在这里共包括
2020-07-26 00:25:42
126
原创 自然语言处理实践Task2
一、读取训练数据# sep设置分割符# nrows设置读取的行数train_df = pd.read_csv('./data/train_set.csv', sep='\t', nrows=100)train_df.head()第一列label为新闻的类别，第二列text为新闻的字符。二、数据分析计算句子的长度train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))train_df['text
2020-07-22 23:49:02
163
原创 自然语言处理实践Task1
一、数据集结构：共14个分类：{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13}二、评测标准：F1=2∗(precision+recall)(precision∗recall)F_1=2* \frac{(precision+recall)}{(precision∗recall)}F1=2∗
2020-07-21 22:37:05
142
原创 刷题笔记2020-06-26
1.给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。leetcode136def singleNumber(self, nums: List[int]) -> int: res = 0 for num in nums: res ^= num return res异或运算有以下三个性质：任何数和 0 做异或运算，结果仍然是原来的数，即 a ^ 0 = a。任何数
2020-06-26 16:47:06
352
原创 二叉树
满二叉树如果二叉树中除了叶子结点，每个结点的度都为 2，则此二叉树称为满二叉树。完全二叉树如果二叉树中除去最后一层节点为满二叉树，且最后一层的结点依次从左到右分布，则此二叉树被称为完全二叉树。参考链接：http://c.biancheng.net/view/3384.htmlhttps://www.cnblogs.com/-citywall123/p/11788764.html...
2020-06-26 16:12:42
184
原创 Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow (2)
Take a Quick Look at the Data Structurehousing =load_housing_data()# show the total number of rows, each attribute’s type, and the number of nonnull valueshousing.info()# how many districts belong to each category housing["ocean_proximity"].value_coun
2020-06-20 11:43:50
479
1
原创 mac下使用pyenv
一、安装pyenv安装命令brew updatebrew install pyenv添加环境变量echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profileecho 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile二、pyenv基本用法# 查看已安装的版本pyenv versions# 查看正在使用的版本pyenv version
2020-06-06 15:15:38
871
原创 ubuntu安装scala开发环境
到官网下载scala-2.11.12.tgz解压到要安装的目录sudo tar -zxvf scala-2.11.12.tgz -C /usr/local/Software/Scala打开~/.bash_profile，配置环境变量export SCALA_HOME=/usr/local/Software/Scala/scala-2.11.12export PATH=$PATH...
2020-05-05 11:04:56
481
原创 docker下使用solr
安装sudo docker pull solr:7.7.2启动sudo docker run -d -p 8983:8983 --name crsolr solr:7.7.2创建coresudo docker exec -it crsolr solr create_core -c gettingstarted官方手册
2020-04-05 22:56:57
273
原创 docker下使用redis
启动redis容器docker run --name crredis -p 6379:6379 -d redis --requirepass "123456"进入redis容器docker exec -it crredis bashredis命令# 登陆客户端redis-cli -a 123456# 查看所以keykeys *# 清空内容FLUSHALL...
2020-03-18 14:33:17
115
原创 ubuntu下安装psycopg2报错
错误信息如下：Error: pg_config executable not found. pg_config is required to build psycopg2 from source. Please add the directory containing pg_config to the $PATH or specify the full executa...
2020-03-14 19:49:02
984
1
原创 docker中使用postgresql
拉取postgersql镜像sudo docker pull postgres启动postgresql容器sudo docker run --name crpsql -e POSTGRES_PASSWORD=123456 -p 5432:5432 -d postgres进入容器sudo docker exec -it crpsql bash...
2020-03-13 18:54:20
750
原创 ubuntu18安装sublime
1.到官网下载源码包2.解压到指定文件夹sudo tar -jxvf sublime_text_3_build_3211_x64.tar.bz2 -C /opt/3.建立软链接ln -s /opt/sublime_text_3/sublime_text /usr/local/bin/sublime34.卸载sudo rm /usr/local/bin/sublime3sudo r...
2020-03-13 18:36:07
296
原创 ubuntu18找不到wifi适配器
连接网络输入以下命令，重启后即可使用wifisudo apt-get updatesudo apt install broadcom-sta-dkms
2020-03-11 16:01:05
834
1
原创 ubuntu18.04安裝搜狗輸入法
一、安裝fcitx打开ubuntu software，安装Fcitx和Fcitx Configuration打开setting => Region & Language => Lauguage Support，添加中文支持重启电脑二、官网下载搜狗输入法，双击deb文件安装即可。...
2020-03-11 15:57:45
233
原创 mac安装openjdk
1.修改bash_profile文件# Javaexport JAVA_8_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Homeexport JAVA_11_HOME=/Library/Java/JavaVirtualMachines/jdk-11.0.6.jdk/Contents/Home# 默认jdk...
2020-03-09 16:17:47
1651
原创 Mac下卸载Idea
先将idea拖入垃圾篓删除以下文件cd ~/Library rm -rf Preferences/IdeaIC2019.3rm -rf Caches/IdeaIC2019.3 rm -rf Application\ Support/IdeaIC2019.3rm -rf Application\ Support/IntelliJ\ IDEArm -rf Logs/IdeaIC201...
2020-02-23 15:20:54
277
原创 Windows中查看端口占用情况
找到端口对应的PIDnetstat -ano | findstr "8080"2. 通过PID找到对应程序tasklist | findstr "4984"3. 结束程序，以下命令二选一taskkill /f /t /im java.exetaskkill /F /pid “10528”...
2020-02-22 23:39:18
146
原创 Mybatis Generator生成工具使用
一、创建数据库以及表t_user二、引入依赖<dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-core</artifactId> <version>1.3.7</ver...
2020-02-13 13:35:53
180
原创 docker下使用mongodb
一、启动容器docker run --name some-mongo -p 27017:27017 -d mongo二、以admin进入mongodbdocker exec -it some-mongo mongo admin
2020-02-10 22:00:12
135
原创 npm常用命令
一、设置国内镜像# 获取当前镜像地址npm get registry# 切换淘宝镜像npm config set registry http://registry.npm.taobao.org/# 切换官方镜像npm config set registry https://registry.npmjs.org/二、基本操作# 查看全局安装的包npm list -g --dept...
2020-02-10 20:45:04
136
原创 Node版本管理nvm的用法
1.查看可用版本# Linuxnvm ls-remote# Windowsnvm ls available2.安装与卸载nvm install 10.19.0nvm uninstall 10.19.03.版本切换（注：nvm安装路径不能有空格，否则切换时会报错）# 查看已安装版本nvm ls# 临时切换版本nvm use 10.19.0# 设置默认版本nvm ali...
2020-02-10 12:05:59
555
原创 Postgresql基本操作
一、创建用户# 切换到postgres用户sudo su - postgres# 创建用户create user test with password '123456';二、创建数据库create database testdb owner test;参考链接
2020-02-07 22:10:32
173
原创 vscode设置go-lint警告提示
vocode代码提示黄色警告exported type RecorderEngine should have comment or be unexported go-lintvscode在settings.json配置如下"go.lintFlags": ["--disable=all", "--enable=errcheck"]
2020-02-04 14:37:21
9824
1
原创 macOS安装docker
一、安装dockerbrew cask install docker二、验证dockerdocker --versiondocker-compose --versiondocker-machine --version二、配置镜像加速，Preferances -> Docker Engine阿里云镜像加速器...
2020-02-03 17:38:06
284
原创 macOS安装配置Java
一、Oracle官网下载dmg文件，Java8和11为长期支持版本，然后直接双击安装。二、打开~/.bash_profile配置环境变量，在JDK1.5之后的版本，不再需要配置CLASSPATH，只需要配置JAVA_HOME以及PATH即可：# Javaexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-11.0.6.jdk/Cont...
2020-02-03 14:00:20
349
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人