- 博客(31)
- 收藏
- 关注
转载 微信生态账号体系—各ID介绍与Unionid的获取
相比小程序获取unionid而言,公众号非静默授权获取unionid的方式并不合理,因为这种方式把获取unionid与客户昵称、头像混在一起了,本质上是没有做好数据权限的分类。不同开发模式的数据隔离,对同一个微信用户,自建应用的id数据为明文,三方应用与自建代开发应用的external_userid、corpid、userid全部为密文,且三方应用与自建代开发应用无法直接获取C端用户的unionid。如果用的是企业自己的小程序,获取的unionid可以直接存储入库,以方便后面开展业务。
2023-05-05 08:47:28 394
原创 Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
今天发一篇”水文”,可能很多读者都会表示不理解,不过我想把它作为并发序列文章中不可缺少的一块来介绍。本来以为花不了多少时间的,不过最终还是投入了挺多时间来完成这篇文章的。网上关于 HashMap 和 ConcurrentHashMap 的文章确实不少,不过缺斤少两的文章比较多,所以才想自己也写一篇,把细节说清楚说透,尤其像 Java8 中的 ConcurrentHashMap,大部分文章都说不...
2018-12-05 10:49:10 220
转载 深入理解JVM之JVM内存区域与内存分配
前言:这是一篇关于JVM内存区域的文章,由网上一些有关这方面的文章和《深入理解Java虚拟机》整理而来,所以会有些类同的地方,也不能保证我自己写的比其他网上的和书本上的要好,也不可能会这样。写博客的目的是为了个人对这方面自己理解的分享与个人的积累,所以有写错的地方多多指教。 看到深入两字,相信很多的JAVA初学者都会直接忽略这样的文章,其实关于JVM内存区域的知识对于初学者来说其实是很重要...
2018-11-14 18:03:38 248
转载 Java程序内存的简单分析
这篇文章将简单的说明下当我们运行Java程序时JVM(Java虚拟机)的内存分配情况。首先我们先来感观的认识下几个名词:栈:一般来说,基本数据类型直接在栈中分配空间,局部变量(在方法代码段中定义的变量)也在栈中直接分配空间,当局部变量所在方法执行完成之后该空间便立刻被JVM回收,还有一种是引用数据类型,即我们通常所说的需要用关键字new创建出来的对象所对应的引用也是在栈空间中,此时,JVM...
2018-11-14 11:17:00 225
转载 联合索引在B+树上的结构介绍
前言最近在学习MySQL的存储引擎和索引的知识。看了许多篇介绍MyISAM和InnoDB的索引的例子,都能理解。像这张索引图:PS:该图来自大神张洋的《MySQL索引背后的数据结构及算法原理》一文。但许多文章讲述的都是单列索引,我很好奇联合索引对应的结构图是怎样的。疑惑:联合索引的结构是怎样的比方说联合索引 (col1, col2,col3),我知道在逻辑上是先按照co...
2018-11-14 10:28:07 21470 34
转载 KSQL docker安装
https://docs.confluent.io/current/quickstart/cos-docker-quickstart.html
2018-09-11 15:15:00 649
转载 Spark应用远程调试
转载来源^^ https://blog.csdn.net/u013468917/article/details/51087473 本来想用Eclipse的,然而在网上找了一圈,发现大家都在说IntelliJ如何如何好。我也受到了鼓舞,遂决定在这台破机器上鼓捣一次IntelliJ吧。Spark程序远程调试,就是将本地IDE连接到Spark集群中,让程序一边运行,一边通过debuger实时...
2018-08-13 16:54:17 1673
转载 centos6.5 安装hadoop2.7.6 1master2node
环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装。参考了别人的文档,遇到了不同的问题。1. 3台centos6.5 vmware192.168.17.205 Master192.168.17.206 hadoop1192.168.17.207 hadoop2为三台主机...
2018-08-01 13:16:20 208
转载 cenos 7 安装docker
一、安装docker1、Docker 要求 CentOS 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本 $ uname -r2、使用 root 权限登录 Centos。确保 yum 包更新到最新。$ sudo yum update3、卸载旧版本(如果安装过旧版...
2018-07-21 12:18:52 623
原创 dbus安装笔记
1、dbus-heartbeat-0.4.0/conf/stat_config.properties/中influxdb.url默认值是locahost,应该改成真实的influxdb.url2、ttps://bridata.github.io/DBus/install-logstash-source.html中logstash验证命令bin/kafka-console-consumer.sh -...
2018-02-28 17:45:49 3048
原创 win10 端口转发
1、添加端口转发netsh interface portproxy add v4tov4 listenport=4000 listenaddress=127.0.0.1 connectport=4000 connectaddress=172.31.217.1982、删除端口转发netsh interface portproxy del v4tov4 listenport=4000 li
2018-01-15 13:05:10 18367 5
原创 yapi编译环境搭建
sudo rpm --import http://linuxsoft.cern.ch/cern/slc6X/i386/RPM-GPG-KEY-cernsudo yum install devtoolset-2scl enable devtoolset-2 bashcurl -o- https://raw.githubusercontent.com/creationix/
2018-01-15 09:49:17 1823
原创 nodejs安装
下载nodejswget https://npm.taobao.org/mirrors/node/v8.0.0/node-v8.0.0-linux-x64.tar.xz解压tar -xvf node-v8.0.0-linux-x64.tar.xz测试是否安装成功进入解压目录下的 bin 目录,执行 ls 命令cd node-v8.0.0-
2018-01-11 19:52:58 1075
原创 分布式爬虫
Pholcus(幽灵蛛)是一款纯Go语言编写的支持分布式的高并发、重量级爬虫软件,定位于互联网数据采集,为具备一定Go或JS编程基础的人提供一个只需关注规则定制的功能强大的爬虫工具。它支持单机、服务端、客户端三种运行模式,拥有Web、GUI、命令行三种操作界面;规则简单灵活、批量任务并发、输出方式丰富(mysql/mongodb/kafka/csv/excel等)、有大量Demo共享;另外
2018-01-11 11:24:21 1239
转载 看我是如何跟羊毛党战斗的之我也变成羊毛党
一、前言快钱、飞凡双旦活动已经过去,这里跟大家分享下我是如何跟羊毛党战斗的。/doge由于是事后写的,所以当时活动的一些截图可能就没有了,大家自行脑补~就当顺便给快钱、飞凡打个广告啦~二、导火索作为老东家,有活动当然要支持一下啦,也就一元购还算比较靠谱划算了。想抢个东西,从来没有看到过存在有货的情况,特别是整点放货的时候也基本都是已抢光,可恶
2017-06-10 10:40:10 1089
转载 大数据识别“爱”的羊毛党,拒绝那些它“恨”的羊毛党
卒于“羊毛党”,P2P公司的一大死因2014年6月,广州新成立一家互联网金融公司。为了吸引消费者购买自己的理财产品,这家公司发行了价值2个亿的各类优惠券。但仅仅不到半年的时间,公司便宣告倒闭。原来这些优惠券,全部都被一个“人”抢走了,确切的说,是一个5000人的“羊毛党”团队。他们抢了优惠券后,全部用于购买期限在半年内兑换的理财产品,而金融公司在短期内没有足够的资金应对
2017-06-10 10:36:47 4765
转载 spark sql 读取指定json字段
spark sql读取json的问题Spark sql虽然支持了json作为数据源,但由于json是松散的数据结构,而sql需要确定的数据结构,所以spark sql在读取json的时候会将整个json完整遍历得到一个最大的schema,这在数据量很小的时候貌似没啥问题,可一旦数据量过大,那么在选择一些limit的时候会失效,所以我们需要在用spark sql读取json的时候提供一份
2017-06-06 12:22:05 4965
原创 spark 批量提交依赖包命令
/spark-submit --class com.ec.SparkConsumer –jars $(echo /home/rowen/libs/*.jar | tr ' ' ',') -- master spark://ip:7077 ./main.jar ./config.properties
2017-06-06 12:20:06 947
转载 最简单例子图解JVM内存分配和回收
一、简介JVM采用分代垃圾回收。在JVM的内存空间中把堆空间分为年老代和年轻代。将大量(据说是90%以上)创建了没多久就会消亡的对象存储在年轻代,而年老代中存放生命周期长久的实例对象。年轻代中又被分为Eden区(圣经中的伊甸园)、和两个Survivor区。新的对象分配是首先放在Eden区,Survivor区作为Eden区和Old区的缓冲,在Survivor区的对象经历若干次收集仍然存活的,
2017-05-08 09:11:44 232
原创 The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw-
It is easy to follow the instructions on http://spark.apache.org/docs/latest/ and download Spark 1.6.0 (Jan 04 2016) with the “Pre-build for Hadoop 2.6 and later” package type from http://spark.apac
2017-05-01 17:00:06 7944 1
转载 史上最全“大数据”学习资源整理
资源列表:关系数据库管理系统(RDBMS) MySQL:世界最流行的开源数据库; PostgreSQL:世界最先进的开源数据库; Oracle 数据库:对象-关系型数据库管理系统。框架 Apache Hadoop:分布式处理架构,结合了 MapReduce(并行处理)、YARN(作业
2017-04-24 14:25:15 2724
转载 Java高并发程序设计总结
一.概念:二.java并行程序基础:线程基本操作: 注:多线程并发下的ArrayList是个不安全的容器,可用线程安全的Vector代替.多线程并发下的HashMap也有问题,可用ConcurrentHashMap代替.此外还要注意加锁对象的选择。三.JDK并发包: 同步控制(多线程的团队协作):线程池(线程复用):JD
2017-04-05 09:29:38 289
原创 sqoop从mysql导数据到hive命令
sudo -u hive sqoop import -D mapreduce.map.log.level=DEBUG --connect jdbc:mysql://10.15.160.146:33944/auth_mobp2p?tinyInt1isBit=false --username bigdataetluser --password tmTvi8Fn9EjlBD8zT6SN9pk8K4o7
2017-03-29 23:23:18 315
原创 Hbase二级索引方案Solr key value index
概述在Hbase中,表的RowKey 按照字典排序, Region按照RowKey设置split point进行shard,通过这种方式实现的全局、分布式索引. 成为了其成功的最大的砝码。然而单一的通过RowKey检索数据的方式,不再满足更多的需求,查询成为Hbase的瓶颈,人们更加希望像Sql一样快速检索数据,可是,Hbase之前定位的是大表的存储,要进行这样的查询,往往是要通过
2017-03-29 09:40:58 1604
原创 CARAVEL安装步骤
一、安装python环境,需要python需要2.7.9yum upgrade python-setuptoolsyum install zlib-develyum install bzip2-develyum install openssl-develyum install ncurses-develyum install sqlite-develcd /opt
2017-03-21 09:52:15 704
原创 hbase常用命令
一、根据rowkey查询import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SubstringComparatorimport org.apache.hadoop.hbase.filter.RowFilterscan 'USER_INFO:school_ro
2017-03-08 11:04:06 237
原创 mongodb 3.0.5 创建用户和数据库
use admindb.createUser( { user: "siteUserAdmin", pwd: "password", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] })权限认证登录mongo --port 27017 -u siteUserAdmin -p passwo
2015-09-23 18:13:00 301
转载 mongodb3.03开启认证
下载了最新mongodb3.03版本,当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题,现总结如下: (百度上搜到的基本都是老版本的,看到db.addUser的就是,请忽略) Windows下我做了一个bat文件,用来启动mongodb,命令行如下: mongod --dbpath db\data --port 27017 --directoryperdb --l
2015-09-23 18:10:29 251
转载 mongodb3.0.5安装
测试OS平台 centos 6.5数据库平台 MongoDB version: 3.0.5 安装方法yum禁用防火墙和selinux[root@mogo yum.repos.d]# service iptables stop[root@mogo yum.repos.d]# chkconfig iptables off[root@mogo yum.repos.d]#
2015-09-23 18:08:10 285
原创 mongodb 3.0.5安装
一、禁用防火墙和selinux[root@mogo yum.repos.d]# service iptables stop[root@mogo yum.repos.d]# chkconfig iptables off[root@mogo yum.repos.d]# setenforce 0[root@mogo yum.repos.d]#vi /etc/sysconfig/selin
2015-09-23 17:57:00 340
原创 codis安装注意事项
1、config.ini中的dashboard_addr地址中端口修改为你启动后系统实际拿到的端口,否则../bin/codis-config slot init后会提示找不到18087端口2、codis-ha启动命令端口需和codis-config服务器端口一致,且相关源码里的18087端口也要改成dashboard_addr服务端口
2015-05-13 15:16:11 327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人