- 博客(19)
- 收藏
- 关注
RSS订阅原创 代码提交Git时CRLF与LF转换
Windows下文件换行符为’\r\n’，为CRLF格式Linux下文件换行符为’\n’，为LF格式IDEA、PyCharm下操作文件，换行符为CRLF（可通过设置进行修改）1、提交git时可进行config配置，使得CRLF与LF格式进行自动转换 git config –global core.autocrlf true #提交时转换为LF，检出时转换为CRLF 因此，可以在I...
2020-01-02 20:17:18
2335
原创 faiss安装方法：anaconda安装和swig安装
方法一：通过anaconda安装1、下载anaconda2、bash下载的anaconda.sh，一路回车，默认安装3、修改环境变量： <1>vim /etc/profile <2>添加 export PATH="$HOME/anaconda2/bin:$PATH" （假设你的anaconda为anaconda2，在$HOME路径下） <3>...
2019-08-24 16:27:10
2756
原创 No configuration setting found for key 'akka.version'
尝试把pom文件中的provided去掉试一下
2019-05-29 14:32:08
1491
1
原创 Kafka 0.8升级至0.10消费时做出的改动
Kafka 0.8版本升级为0.10版本时，消费代码需要做出一些修改，如下：Kafka 0.8版本：val kafkaParams = Map[String, String]( "metadata.broker.list" -> kafka_ip, //此处为kafka对应的IP "refresh.leader.backoff.ms" -> "30000")val li...
2019-05-17 20:28:49
927
原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
报错信息：Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStreamat org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)具体报错信息：查看一下pom.xml文...
2019-04-12 20:48:22
1111
原创 IDEA pom中修改了包版本号但左侧的external libraries找不到相应新版本的包
pom中修改了包版本号但左侧的external libraries相应文件夹下找不到新版本的jar包。导致这一问题的原因可能有多个，这里我记录一下我遇到的情况：解决方法：打开本地jar包库(~/.m2/repository)，删除相应jar包，重新回到pom文件重新下载，搞定。原因：pom修改了包的版本号，按理说左侧的external libraries会自动将相应版本的jar下载，但是下载时...
2019-02-22 21:26:20
5006
原创 IDEA Debug单步执行按钮说明
IDEA 进行Debug时，左下方有8个这样的按钮接下来从左到右依次说明一下：1、Show Execution Point (Alt + F10)：如果你的光标在其它行或其它页面，点击这个按钮可跳转到当前代码执行的行。2、Step Over (F8)：步过，一行一行地往下走，如果这一行上有方法不会进入方法。3、Step Into (F7)：步入，如果当前行有方法，可以进入方法内部，一般用...
2018-12-15 16:33:55
10287
1
原创 IDEA Java变量显示为Val类型，get, set方法隐藏
IDEA Java变量显示为Val类型，get, set方法隐藏初使用IDEA，git clone代码后，发现java代码的变量显示成Val类型，而且get和set方法都被隐藏，鼠标放上去显示其本应有的格式，单击后变成其应有的格式，如图为鼠标放上去后的样子：单击灰色的Val就会变成上图中第二行的格式。这个问题一开始以为是Java代码自动转换成scala代码的问题，后来在网上查了很多才找到问...
2018-12-15 14:55:35
7685
1
原创 git 删除分支文件 删除分支
长话短说一、删除分支文件１、删除暂存区或分支上的文件, 同时删除工作区相应文件git rm file_namegit commit -m "del file"git push origin your_branch２、删除暂存区或分支上的文件, 但保留工作区相应文件git rm --cached file_namegit commit -m "del remote file"gi...
2018-11-10 15:46:29
3882
原创 Python list append() extend() insert()以及两个list合并
一、append() a.append(b) 将b作为一个整体（数据项）加到a的最后a = [1, 2, 3]b = ['A', 'B', 'C']a.append(b)print a结果：[1, 2, 3, ['A', 'B', 'C']]二、extend() a.extend(b) 将b中的元素逐个（数据集合）加到a的最后a = [1, 2, 3]b = ['A', ...
2018-10-29 20:18:23
1680
原创 csr_matrix矩阵压缩
scipy库中的sparse.csr_matrix可对稀疏的np.array进行压缩处理，有两种方式：csr(Compressed Sparse Row marix) 和 csc(Compressed Sparse Column marix)。下面通过两个最常见的栗子说明一下。scipy.sparse.csr_matrix 按行进行压缩>>> indptr = np.arr...
2018-10-26 21:12:45
1990
1
原创 PySparNN学习笔记——稀疏数据求Ｋ近邻
最近在学习求取数据的K近邻，接触到了PySparNN，在这里记录一下~ 使用Python求取数据的K近邻时，当你的数据不稀疏的时候，faiss和annoy比较合适。但是，当你的数据维度较高，且为稀疏数据的时候，可以考虑使用PySparNN使用前提：numpy and scipy下面借助官方的两个栗子来说明PySparNN的用法：栗子1：import pysparnn.cluster_i...
2018-10-25 20:59:40
1715
原创 Linux回车总会出现：++ printf '\033]0;%s@%s:%s\007'
在终端窗口输入任何命令或者运行任何脚本，发现每次按回车都会一条类似下面这样的输出都会出现：++ printf ‘\033]0;%s@%s:%s\007’后来发现是因为在终端窗口输入了set -x，或者是在终端窗口source 其他文件时，该文件中包含set -x，反正就是都是因为在终端窗口输入了set -x，所以再输入set +x即可取消回车后有++ printf '\033]0;%s@%s:...
2018-10-25 19:57:10
3086
1
原创 Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied:
Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied: user=QY, access=WRITE, inode="/":hdfs:hadoop:drwxr-xr-x 同样的环境执行mapreduce任务，运行其他脚本没有问题，只是运行当前脚本出现这个错误，在查找了各种原因...
2018-09-27 18:26:32
630
原创 git对应的几个工作区及相应的指令
最近刚接触gitlab，从gitlab上clone下来的代码，做出自己相应的修改后，需要重新搞到gitlab上去，在别人那里知道了是git add、git commit、git push origin master，但是只是机械的知道这样操作，其他的完全是懵的状态，于是在网上搜这几个命令具体的解释时，看到一幅图，整个人都瞬间开朗了很多。 具体参考https://blog.csdn.net/u...
2018-08-08 21:03:23
875
原创 Vim多行注释以及取消注释
一、多行注释在vim正常模式下，注释多行代码需要以下步骤： 二、取消多行注释在vim正常模式下，取消多行代码的注释需要以下步骤：
2018-08-03 20:00:10
3376
原创 shell脚本中source和expert的简单理解
题外话：刚入职，看代码时看到了source和expert，一开始没太在意，就认为是将相应的文件拿过来，可以让当前文件使用拿过来的文件里面的变量函数等的一个功能，但是不明白具体是怎么回事，今天下午就仔细的研究了一下，就目前我的理解简单的整理到这里，如有问题，欢迎指出。一、source命令 source命令也成为“点命令”，即一个点符号（.），是bash的内部命令。 source可以执行一个s...
2018-08-02 20:46:57
3229
原创 Python print中文出现错误
今天在学习Python函数的默认参数的时候遇到一段代码，本想研究函数实参对函数形参中的默认参数的影响，结果遇到了print中文出现错误的问题，具体情况如下：#!/usr/bin/env python#coding=utf-8def print_info(name,age,city='TianJin'): print('--------个人信息-------') print ...
2018-07-31 20:53:22
5774
1
原创 Vim查找命令及快捷键
Vim查找命令及快捷键 一、通过指令查找 1、左斜杠/ 从光标所在位置向文件尾搜索 例：／hello 2、问号？ 从光标所在位置向文件头搜索 例：／hello 注：／和？均可加参数做指定查找（两者搜索方向不同，此处以／举例进行说明） １） \&amp;amp;amp;lt;匹配单词的开头 \&amp;amp;amp;gt;匹配单词的结尾 例: \&amp;amp;amp;lt; hel
2018-07-31 20:17:52
50976
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人