小船长的炒菜猫-CSDN博客

原创长期招聘（Java、前端、算法、数据工程师），欢迎打扰

高级Java职位描述：1.负责公司产品后端研发工作2.参与公司产品后端架构设计，查询引擎构建3.参与数据处理工具和数据可视化的开发4.参与企业用户画像、标签系统建设5.日常技术分享，代码Review，问题排查任职资格：1.本科以上学历，2-5年工作经验，本科及以上学历优先，计算机相关专业优先，有互联网经验者优先2.良好的编程习惯，出色的编码能力，掌握Java语言，熟悉常用数据结构和算法，熟悉多线程，熟悉Linux操作系统、熟练应用Linux基础命令3.熟悉Java主流框架如：Sprin

2021-06-19 14:17:00 909

原创中国便利店大会学习心得

总结下来就几点。1.便利店的数字化升级是大浪潮，2.目前大多数企业的中心在用户和私域流量运营（客户智能）3.B端供应链的数据驱动未来会爆发，已经有一部分企业涉及，4.店务的数字化升级正在路上，如果能快速铺开市场，能占得很大的优势参考：http://www.ccfa.org.cn/portal/cn/xiangxi.jsp?id=442171&type=33http://www.ccfa.org.cn/portal/cn/index.jsphttp://www.ccfa.o..

2020-08-22 14:23:01 1498

原创写一篇日记给iCloud一个大大的赞

前言（大概意思呢就是把桌面（Mac）的所有文件都清空了）今天在做开发的时候犯了一个很傻逼的错误，代码的逻辑大概是这样的：首先会配置一个配置文件存储的文件夹，程序会先判断文件夹下有没有文件（注意是文件，不是文件夹），如果有的话会彻底清空掉（还会遍历文子文件夹）.......然后本地做了测试，设置了桌面文件夹为配置文件的文件夹，嗯，程序运行完美，还发布到了测试环境，嗯，运行也很完美，中午吃完饭...

2020-04-09 19:36:06 1191

原创从ToC到ToB，疫情给我们的影响是什么？

小小从19年开始以联合创始人的身份加入了创业团队，融入了ToB的创业环境，负责一块业务的研发工作，不得不说，对一个技术都还没有成型的工程师来说，这个挑战特别大。过去几年，都是在互联网行业（ToC），线上的消费环境已经趋于饱和，拼多多的出现，把线上电商最后一点路也堵死了；外卖行业饿了么和美团独大，占据市场份额的95%，这个数字还在变化，团购网站新美大基本占据市场85%以上的份额，剩下的一些企业依靠着...

2020-03-31 13:32:04 1281 1

翻译随机森林过拟合问题

任何机器学习算法都会有一个很常见的问题，就是过拟合问题(overfitting)，经常都能看到很多人在问随机森林会不会出现过拟合问题，在外国的网站看到了这篇文章，觉得写的很好，所以翻译转载在这里。提出问题：随机森林是否会过拟合？当我第一次看到这个问题时，我有点惊讶，第一个想法是，当然！任何复杂的机器学习算法都会过拟合。我已经训练了数百个随机森林（RF）模型，并且多次观察到它们过拟合。第二个...

2019-08-27 16:20:09 43888 9

翻译张量处理单元(TPU)

2017年，谷歌对外宣布了一个张量处理单元(也就是TPU)—专门为机器学习而构建的定制应用专用集成电路（ASIC），一年后，TPU被转移到云端，并开放供商业使用。张量处理器（TPU）遵循CPU和GPU的路线，是Google定制开发的特定于应用程序的集成电路（ASIC），旨在加速机器学习的工作量，专为谷歌的TensorFlow框架设计的，实际是一个用于神经网络的符号数学库。众所周知，Tensor...

2019-08-17 17:22:45 7997

翻译关联规则与Apriori算法

翻译自：Association Rules and the Apriori Algorithm: A Tutorial当我们去商店购物时，我们通常有一个标准的购物清单，每个购物的人都有一个独特的清单，取决于他们的需求和喜好，家庭主妇可能会为家庭晚餐购买健康的食材，而单身汉可能会购买啤酒和薯条。了解这些购物模式有助于通过多种方式提高销售额，如果有一对物品，X和Y经常被购买：X和Y都可以放...

2019-08-15 22:00:07 13764 2

原创 org.bouncycastle.asn1.ASN1Boolean非法循环依赖的错误

记录遇到一次奇怪的错误，在发布war包到Tomcat的时候，出现了org.bouncycastle.asn1.ASN1Boolean非法循环依赖的错误。INFO: Deploying web application directory /data/w/www/xxx-app/webapps/ROOTApr 02, 2019 9:59:52 PM org.apache.catalina.co...

2019-04-24 22:59:35 7060 3

原创 Impala安装和使用问题汇总

近日调研了Kudu+Impala大数据存储引擎，在安装和使用的过程中也遇到不少问题，解决起来也是不容易(lz比较菜鸟)，在这里记录一下，也当是分享吧。1.Impala不能创建表，提示权限的问题具体情况：[data.beta.com:21000] > create table user_data(user_id string,code string,value string);...

2019-02-20 21:20:13 7820

原创 Hive或者Impala查询错误：The query did not generate a result set!

今天在测试Impala的jdbc时，出现了一个很奇怪的错误Exception in thread "main" java.sql.SQLException: The query did not generate a result set! at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:477...

2019-02-20 21:03:10 5045

原创 Linux安装Kudu+Impala(RedHat or CentOS)

首先查看系统的版本，RedHat和CentOs通过cat /etc/redhat-release查看版本，这里我的系统版本是CentOS Linux release 7.3.1611 (Core)其他系统查看版本参考：https://www.cnblogs.com/wzk-0000/p/7483262.html一、安装Kudu1. 下载cloudera-kudu.repo地址：h...

2019-02-20 14:18:25 2948 1

原创 Spark错误：class needs to be abstract, since: it has n unimplemented members

一般情况下在Spark项目里面只会写一些数据处理的job，但是偶尔也会有一些特别的需求，这里需要定义一个商品(Sku)的类，写惯了Java的代码，写个bean应该也不难。class SkuInfo { var skuCode: String var skuName: String def _skuCode(skuCode_ : String): Unit = { sk...

2019-01-19 16:34:34 1438

原创分享一个JDBC查数据库出现的一个问题

问题详情，紧急需求临时搞了一个JDBC查Hive的引擎，根据获取的ResultSet在内存做计算，需要把ResultSet保留在内存一段时间，但是在后续对ResultSet的处理中出现了错误，错误详情：java.sql.SQLException: Error retrieving next row at org.apache.hive.jdbc.HiveQueryResultSet.nex...

2018-11-07 18:56:40 6354

原创 Spark常见问题解决

这俩天总结了在写Spark Job的时候遇到的一些问题，写在这里，以后遇到了方便查看。1.Error:(64, 64) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by ...

2018-10-29 12:25:46 3255

原创 Shell FTP文件上传下载

1.上传文件到ftp创建一个shell文件：touch upload.sh修改为可执行文件：chmod +x upload.sh编辑：vim upload.sh，脚本内容如下cd /user/directory/targetexport putfile=yyy.jar ftp -v -n ftp.xxx.com<<EOFuser huyikang psswd ...

2018-09-25 15:25:40 5191 1

原创 DataX实战应用

目录前言系统架构关键实现系统目前使用现状DataX使用心得前言DataX是阿里开源数据同步工具，实现异构数据源的数据同步，Github地址：https://github.com/alibaba/DataX，企业存储离线数据到数仓，但是没办法对接业务，本次实践主要是运用DataX实现数据从数仓导入到MySQL，从而对接业务，另外，对数仓数据的流出进行管理。一般从数仓数...

2018-09-03 22:50:31 22651 30

原创阿里云MySQL远程连接失败

在阿里云服务器上自己装了一个MySQL，但是刚刚开始并不能正常连接，其实无非就两种情况a.服务器端口拦截b.MySQL服务拒绝了请求解决办法：针对服务器，将端口开放链接，针对MySQL，取消MySQL的连接限制即可1.MySQL取消限制进入mysql，以root用户运行以下语句，表示MySQL允许在任何IP连接当前实例GRANT ALL PRIVILEGES ON *...

2018-08-31 23:44:33 5527 1

原创 MySQL:Specified key was too long; max key length is 767 bytes.

在mysql建表添加索引时，报了这个错，Specified key 'uniq_date_store' was too long; max key length is 767 bytes.SQL：create table `ordering_system_evaluation_ordering_store_division_main_abc_sku_di`( `id` BIGI...

2018-05-23 20:00:16 8983

原创阿里云服务器上一次Spring Boot工程的简单部署

我最近在阿里云上发布一个网站，没有配置Jenkins环境，所以发布我都用手动的方式去完成。这里我是在本机打好了jar包，然后将Spring Boot的jar包通过scp发送到服务器，确保项目中配置的数据库正常运行，并能正常连接，如果有redis，保证redis服务开启。scp -r xxx.jar root@aliyun:/usr/local/project/xxx.jar登录服务器...

2018-04-28 11:23:34 1025

原创 Vue取消eslint语法限制

由于vue对语法的限制过于严格，以至于在我第一次编译运行的时候一直编译失败，当然也包括一些警告(好长一堆，删掉一些了)：➜ my-project npm run dev > bblee-app@1.0.0 dev /Users/bianlifeng/my-project> webpack-dev-server --inline --progress --config bu...

2018-04-27 15:23:05 49319 4

原创 Git常用命令(够用)

git checkout -b TS-308320180228git_beta // 本地创建新分支git status // 查看当前所在的分支以及当前分支的修改状况，会显示修改的文件PS:如果有zsh插件，能直接显示当前分支，Mac可以直接通过brew安装zsh，安装完成后需reboot生效git add . // 将所有更改添加到本地git commit -m "提交的内容" ...

2018-04-11 16:13:21 544

原创 Guava排序-Guava实现多列排序

Guava排序：ComparisonChain这里我先说一下我的一个需求，然后对照着需求来说一下如何实现对应的逻辑。首先我有一个List// 姓名，性别，年龄，薪资，级别，籍贯List<List<Object>> lists = Lists.newArrayList();lists.add(Arrays.asList("张三", "男", 22, 1000...

2018-04-07 22:32:24 5879

原创 Git回滚到上一次提交的节点

有这样的情况，在代码提交完成之后，发现出了问题，需要回滚到上一次提交的节点，怎么做呢。首先找到git提交的日志git log找到最近一次提交，复制提交的信息码，如图：复制该信息码，然后控制台revert一下，就OK git revert eb4b58fd5d0aa75f890084bfdc879b6cd2c5dd70想回到其他的节点，直接获取节点的值，复制粘贴后...

2018-04-04 19:44:34 21175

转载 Guava的ListenableFuture解析

转自：google Guava包的ListenableFuture解析并发编程是一个难题，但是一个强大而简单的抽象可以显著的简化并发的编写。出于这样的考虑，Guava 定义了 ListenableFuture接口并继承了JDK concurrent包下的Future 接口。我们强烈地建议你在代码中多使用ListenableFuture来代替JDK的 Future, 因为：大多数Fut...

2018-03-08 15:12:48 1167 2

原创 IDEA中Java错误：Usage of API documented as @since 1.8+ less...

IDEA出现错误Usage of API documented as @since 1.8+ less… (⌘F1) This inspection finds all usages of methods that have @since tag in their document….我以为是JDK版本的问题，但是在External Libraries中也能显示出JDK8的系统jar包。解...

2018-03-05 20:34:42 9802 2

原创面试题：字符串最长回文

回文：正数和倒数相同。如sos,level。现在给定字符串“er0reviver”要求给出字符串内最长的回文。写出代码输出结果。Java:public static String longestPalindrome(String str) { int length = str.toCharArray().length; int resultLengt...

2018-02-07 21:14:20 577 2

翻译 JavaScript中的原型(Prototypes)和继承(Inheritance)

翻译自：Understanding Prototypes and Inheritance in JavaScript介绍JavaScript是一种基于原型(prototype-based)的语言，这意味着对象属性和方法可以通过具有克隆和扩展能力的通用对象来共享，和类的继承不同，这被称为原型继承。在流行的面向对象的编程语言中，JavaScript是相对独特的，因为诸如PHP，Python和J

2018-02-05 22:09:28 745

翻译如何在Ubuntu 16.04上安装Swift和Vapor

翻译自：How to Install Swift and Vapor on Ubuntu 16.04介绍Swift是Apple开发的一种编程语言，特点是快，安全和现代化，它有一个支持语言的庞大社区。Swift主要用于开发iOS和Mac OS应用程序，但从Swift 3开始，您也可以将其用于服务器端应用程序开发。Vapor是一个流行的服务器端Swift Web框架，和Swift一样，Va

2018-02-01 11:34:08 3643

转载如何在Ubuntu 16.04上增加Swap分区

翻译自：How To Add Swap Space on Ubuntu 16.04前言提高服务器响应速度和防止应用程序内存不足错误的最简单方法之一是添加一些交换空间。在本指南中，我们将介绍如何将交换文件添加到Ubuntu 16.04服务器。但是，请注意：尽管swap区通常建议用于使用传统旋转硬盘驱动器的系统，但使用与SSD交换可能会导致随着时间的推移硬件退化问题。由于这个考虑，

2018-01-31 16:43:16 22601 6

转载 Java String常量池

转自：这就是String常量池啊？题目：请结合常量池／String.intern()／StringTable来谈一下你对Java中String的理解? 考点：对于这个题目，我们可以结合代码来跟面试官进行慢慢交谈，并且根据平时利用JVisualVM和javap两个工具来对字符串内部变化分析，说说它的底层实现。1.字符串的创建方式？引号创建的字符串在字符串池中。 new创建字符串时

2018-01-31 11:14:18 409

转载深度探秘String类

转自：深度探秘String类1 不可变类与可变类的区别?不可变类：这个类的实例一旦创建完成后，就不能改变其成员变量值。如JDK内部自带的很多不可变类：Interger、Long和String等。可变类：相对于不可变类，可变类创建实例后可以改变其成员变量值，开发中创建的大部分类都属于可变类。2 怎么设计一个不可变类？类添加final修饰符，保证类不被继承。保证所有成员变量必须

2018-01-31 10:37:01 254

翻译 (译)Create Java String Using ” ” or Constructor?

在Java中字符串可以有两种方式构造：String x = "abc";String y = new String("abc");那这两种方式之间有什么区别呢？1.双引号和构造方法这个问题可以用两个简单的例子来解答。例1：String a = "abcd";String b = "abcd";System.out.println(a == b); // True

2018-01-30 12:35:29 367

翻译 Set vs. Set<?>

翻译自: Set vs. Set你可能知道一个无界的通配符Set 可以容纳任何类型的元素，而一个原始类型Set也可以容纳任何类型的元素。但是他们有什么区别呢？1.Set的两个事实(1)由于问号？代表任何类型，所以 Set 能够容纳任何类型的元素；(2)因为我们不知道？的类型，所以我们不能把任何元素放入Set 中所以一个Set 可以容纳任何类型的元素（Item 1），但是我们

2018-01-29 09:40:15 297

翻译 Java开发人员爱犯的10个错

翻译自：Top 10 Mistakes Java Developers Make因为自己在开发过程中也有犯过其中的一些错误，觉得写的很好，所以翻译在此。1.将数组转换为ArrayList为了将一个数组对象转换为ArrayList对象，程序员经常是这样实现：ListString> list = Arrays.asList(arr);Arrays.asList()方法返回一个A

2018-01-26 16:35:39 266

转载 Java多线程：join使用及原理

转载自：https://mp.weixin.qq.com/s/at8NynjnYvqkFw61kn3Apgjoin()是线程类Thread的方法，官方的说明是：Waits for this thread to die.等待这个线程结束，也就是说当前线程等待这个线程结束后再继续执行，下面来看这个示例就明白了。示例： public static void main(String[]

2018-01-19 22:58:07 804

原创 Spring Boot:jar中没有主清单属性

使用Spring Boot微服务搭建框架，在eclipse和Idea下能正常运行，但是在打成jar包部署或者直接使用java -jar命令的时候，提示了xxxxxx.jar中没有主清单属性：D:\hu-git\spring-xxx-xxx\target>java -jar spring-cloud-eureka-0.0.1-SNAPSHOT.jarspring-xxx-xxx-0.

2018-01-17 14:56:44 154645 27

原创 Hibernate:Could not locate cfg.xml resource [hibernate.cfg.xml]

1.Could not locate cfg.xml resource [hibernate.cfg.xml]做了一个hibernate缓存的测试，使用运行测试用例的时候，报错找不到cfg.xml配置文件（如hibernate.cfg.xml），是因为该配置文件应该要放在默认src/main/resources资源目录下，或者指定的资源目录下，否则扫描不到该配置文件。简单建了两个实体，写了

2018-01-12 13:32:03 8466 1

原创 MySQL删除表：Cannot delete or update a parent row: a foreign key constraint fails。

MySQL库中有俩表，table1和table2，相互关联，在删除表的时候出错：Cannot delete or update a parent row: a foreign key constraint fails。很明显这是表关联生成的强制约束问题，在删除的时候回检查表之间的关联关系，从而导致无法删除。解决办法：SET foreign_key_checks = 0; // ...

2018-01-12 13:18:07 57411 3

翻译什么是OLTP?

译自：http://database.guide/what-is-oltp/OLTP (Online Transactional Processing，联机事务处理) 是专注于面向事务的任务的一类数据处理，通常涉及在数据库中插入，更新或删除少量数据，主要是处理大量用户下的大量事务。 OLTP事务实例：在线银行、网上买一本书、预订一张机票、发送一个文本消息、电话推销员输入电话调查结果、呼叫

2018-01-11 15:39:48 20243 2

翻译数据库中的Schema是什么?

参考：http://database.guide/what-is-a-database-schema/在数据库中，schema（发音 “skee-muh” 或者“skee-mah”，中文叫模式）是数据库的组织和结构，schemas andschemata都可以作为复数形式。模式中包含了schema对象，可以是表(table)、列(column)、数据类型(data type)、视图(view)...

2018-01-10 13:14:35 534552 34

Apache Thrift Java入门源码，包含客户端和服务端

Apache Thrift Java实战源码，包含了客户端和服务端源码

Linux实验Shell命令操作

空空如也