Levy的博客

原创 SpringBoot遇到的BUG

1.SpringBoot测试Mybatis时注入mapper失败，报错java.lang.NullPointerException at com.test.UserMapperTest.testSelect(UserMapperTest.java:33)解决方法在测试类上加上注解@RunWith(SpringRunner.class)@SpringBootTestpublic class UserMapperTest {...}2.依然报错java.lang.IllegalStateE

原创 大数据面试题_Spark

文章目录hadoop和spark都是并行计算，那么他们有什么相同和区别简单说一下hadoop和spark的shuffle过程spark集群运算的模式RDD中reduceBykey与groupByKey哪个性能好，为什么cache后面能不能接其他算子,它是不是action操作ReduceByKey是action算子嘛数据本地性是在哪个阶段确定的RDD的弹性体现在什么方面常规的容错方式有哪几种RDD...

原创 字节跳动大数据实习生面经

字节跳动大数据实习生面经

原创 将MarkDown导出为带目录的PDF

只需要四步就搞定！Step1:用CSDN的MarkDown编辑器写一篇文章Step2:保存后点击导出按钮，导出为HTML选择导出为HTML文件(不是MarkDown!)Step3:下载转换工具点击这里：wkhtmltopdfStep4:安装完成后在终端中输入命令wkhtmltopdf --disable-smart-shrinking html文件路径 导出的pdf文件路径现...

原创 Java刷题技巧整理

整形数组用字符做索引int[] x = new int[256];x[97] = 666;System.out.println(x['a']);// 打印结果是666 因为'a'的ascll码是97，所以相当于取的是97的值来源：求最长字串的长度问题https://github.com/XingxingHuang/Code_Practice/blob/master/nowcoder...

原创 SparkRDD操作经验

关于“_”的用法可以指代集合中的每一个元素// 筛选出可以被2整除的数a.filter(_%2==0).map(2*_)注：在reduceByKey中指代的是键值对中的值参考：https://blog.csdn.net/a627082796/article/details/87880558cache()方法将某些经过了复杂计算得到的RDD存入缓存中，避免下次调用时重复计算// 将...

原创 Sparksql连接本地mysql数据库

spark版本1.6.2package cn.itcast.spark.sqlimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SQLContextobject SQL_TEST { def main(args: Array[String]): Unit = { // s...

原创 提交Scala编写的WordCount程序到Spark集群

IDEA中编写Scala程序import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]) { //创建SparkConf()并设置App名称 val conf = new SparkConf().setAppName("WC").setMa...

原创 Java文件和异常操作

代码：import java.io.*;public class TestIO { public static void main(String[] args) { String path1 = "F:\\test\\test"; String path2 = path1+"\\aaa.txt"; String path3 = "./t...

原创 Java连接Mysql数据库

Step1：导入驱动jar包，Add为libraryStep2：代码示例：package TestJDBC;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;public class TestJdbc { ...

原创 WIN10安装Mysql

前言：亲测可用！用解压包安装是最稳妥的！Step1：从官网下载Mysql压缩包下载链接：https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-winx64.zip下载完成后解压到自定义目录Step2：配置环境变量这个应该都会配置，就跳过了(逃)Step3：在解压目录下新建文件my.ini，编辑以下内容[mysqld]e...

原创 VIM常用命令汇总

转载 比较Pytorch和Tensorflow的自动求导

https://www.jianshu.com/p/52684285e335

转载 深度学习推荐系统

https://blog.csdn.net/chekongfu/article/details/83003809

原创 装机时使用命令行进行硬盘分区

步骤1：在“您想将Windows安装在何处”的界面按住Shift+F10调出命令行窗口步骤2:输入diskpart并点击回车步骤3：输入list disk点击回车，列出所有磁盘磁盘是从0开始排序的，一般计算机硬盘为磁盘0，U盘或者其他启动盘为磁盘1。步骤4：输入select disk 0 点击回车，即选择你要进行分区的磁盘，一般是容量最大的磁盘。弹出提示“现在磁盘...

转载 Centos7安装Postgresql

https://www.cnblogs.com/shhnwangjian/p/8392050.html

原创 CNN取代RNN资料汇总

https://blog.csdn.net/rosefun96/article/details/84961134https://blog.csdn.net/github_39611196/article/details/84187008https://blog.csdn.net/Kuo_Jun_Lin/article/details/80602776https://www.jiqizhixi...

转载 深度强化学习——Dueling-DDQN

https://blog.csdn.net/u013236946/article/details/73161586

原创 深度学习解决过拟合的方法

方法一：增加数据量大部分过拟合产生的原因是因为数据量太少了。如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲。方法二：运用正规化.L1, l2 regularization等等, 这些方法适用于大多数的机器学习, 包括神经网络。他们的做法大同小异, 我们简化机器学习的关键公式为 y=Wx 。W为机器需要学习到的各种参数。在过拟合中, W 的值往往变化得特别大或特别小。为了不让...

原创 Tensorflow_01_分类问题

代码：# coding = utf-8from __future__ import print_functionimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 加载数据集mnist = input_data.read_data_sets('MNIST_data', o...

原创 Tensorflow API:reduce_sum()函数和reduce_mean()函数

reduce_sum()函数在计算损失时，通常会用到reduce_sum()函数来进行求和。其实在reduce_sum()中，是从维度上去考虑的，reduce_sum(arg1, arg2)有两个参数。如图：调用reduce_sum(arg1, arg2)时，参数arg1即为要求和的数据，arg2有两个取值分别为0和1，通常用reduction_indices=[0]或reduction_...

原创 从Q-learning到DQN的理解

先理解Q-Learning：https://www.jianshu.com/p/29db50000e3f

转载 DQN通俗理解

http://baijiahao.baidu.com/s?id=1597978859962737001&wfr=spider&for=pc

原创 安装完Anaconda python 3.7，想使用python3.6方法

https://www.cnblogs.com/xiaodai0/p/9780101.html

转载 Linux安装Anaconda

https://blog.csdn.net/u013069552/article/details/78349716

转载 hadoop hdfs 基本操作

链接：https://blog.csdn.net/sunshingheavy/article/details/53227581

原创 Mysql导入导出sql文件

1.导出整个数据库数据和表结构mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql2.导出一个表数据和表结构mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u dbuser -p dbname users> dbname_...

转载 windows10安装Mysql

https://blog.csdn.net/weixin_41557632/article/details/78943248

原创 hadoop/spark环境搭建中的坑

1.ip映射问题/etc/hosts文件中的ip映射关系要正确2.datanode启动问题namenode 的id和 datanode的id要对应解答：http://dblab.xmu.edu.cn/blog/818-2/

原创 推荐系统_06_推荐系统冷启动问题

选择合适的物品启动用户的兴趣要求：比较热门具有代表性和区别性启动物品集合需要有多样性利用物品内容信息ItemCF更要注重冷启动问题，可以现根据物品内容计算出初始的相似度，加入到推荐列表中发挥专家的作用没有用户行为，也没用足够的内容信息的时候可以发挥专家的作用。...

原创 推荐系统_05_基于图的推荐

顶点相关性图模型的困难图论计算一般具有指数级的增长难度现有关系型数据库不适合存储和处理图数据解决方式只取出度达到一定数量以上的节点，放弃精度，提高性能图数据库需求能以明显直观的方式存放图数据，而不是扭曲变化为别的替代方式能简单的进行图操作，例如寻路，遍历...

原创 推荐系统_04_基于标签的推荐

最简单的标签推荐算法算法问题这个公式倾向于给热门标签对应的物品很大的权重算法改进借助TF-IDF思想对热门商品进行惩罚：数据稀疏性用户行为少会导致数据稀疏，这个时候需要扩展标签，对每个标签找到和它相似的标签，也就是计算标签之间的相似度。（例如余弦相似度）标签清理...

原创 将txt格式的模型转换为bin格式

前言：最近腾讯出了800w词的embedding，非常好用，但是15.5g的txt个格式加载速度真的很慢，所以尝试转换成二进制格式的模型代码：from gensim.models import KeyedVectorsmodel = KeyedVectors.load_word2vec_format('./TC_Model.txt', binary=False)model.save_w...

原创 推荐系统_03_SVD奇异值分解

隐语义模型的深入理解有一个用户和商品的样本矩阵通过求解权值来求出目标矩阵

原创 python给字典的键添加动态列表

python给字典的键添加动态列表前言：终于能用python实现这个功能了，用来处理流数据非常有用。在输出K—means聚类结果时也非常好用！！def addWord(theIndex,word,pagenumber): theIndex.setdefault(word, [ ]).append(pagenumber)#存在就在基础上加入列表，不存在就新建个字典key d = {"...

原创 推荐系统_02_隐语义模型LFM

基于内容的推荐隐语义模型(LFM)图形解释：LFM的前生今世源于对svd（奇异值分解）方法的改进。svd可用于推荐系统评分矩阵补全，但由于计算量太大，实际上只适用于规模很小的系统。隐语义模型的适用性分类数k是先验指定，可以通过k控制分类的粒度LFM中，商品针对每个类都可以计算权重，是天生的多分类，多纬度关于训练集基本概念：显性数据：数据集包含u用户对i商品的打分...

原创 Java学习笔记_05

Map接口map中的集合，元素是成对存在的。每个元素由键与值两部分组成。map中的集合称为双列集合。map中的集合不能包含重复的键，值可以重复，每个键只能对应一个值。Map中常用的集合为HashMap集合，LinkedHashMap集合HashMap基本方法package cn.itcast.demo06;import java.util.HashMap;import java...

原创 Java学习笔记_04

list接口List集合特点1.有序2.有索引3.可以重复元素基本用法package cn.itcast.demo05;import java.util.ArrayList;import java.util.List;/* List集合特点 1.有序 2.有索引 3.可以重复元素 实现类：Arrylist，Linkedlist */public...

原创 推荐系统_01_UserCF和ItemCF

推荐系统可能涉及的常见算法聚类关联模式挖掘大规模矩阵计算文本挖掘复杂网络和图论算法协同过滤的基本思想协同过滤一般指在海量的用户中发掘出一小部分和你品味比较类似的。实现协同过滤步骤收集用户偏好找到相似的用户或物品计算推荐收集用户偏好方法投票，评分，转发，保存书签，评论，点击流，页面停留时间，购买相似度把数据看成空间中的向量（降噪，归一化）基于距离计算相似度计...

原创 Java学习笔记_03

局部变量和成员变量写在类中的叫成员变量，写在方法中的是成员变量区别：定义位置不同作用域不同默认值不同 成员变量有默认值 局部变量没有默认值，未赋值不能使用内存位置不同 成员变量跟随对象进入堆内存 局部变量跟随方法进入堆内存生命周期不同 成员变量跟随对象，内存等待JVM清理 局部变量跟随方法，方法出栈，变量被清理方法参数是基本数据类型和引用数据类型方法参数是基本数据类...