2019-08-26

day3

1.class加载流程

       虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的java类型,这就是虚拟机的类加载机制。

加载,连接过程(   验证  ,准备,解析),初始化,使用,卸载


2.mq 重复消费问题

1.比如我们拿个数据写库,我们小根据主键查一下,如果这个数据有了,就不插入,update一下。

2.如果我们是写redis,就没有问题,因为set,天然幂等性。

3.比如我们需要让生产者发送每条数据的时候,里面加一个全局唯一的id,类似订单id之类的东西,然后你这里消费到了之后,先根据这个id去比如redis里查一下,之前消费过吗?如果没有消费过,我们就处理,然后这个id写redis。如果消费过了,就不做处理,保证不要重复处理相同的消息即可。


3.zk 注册中心

4.innodb myisam 区别

MyISAM类型不支持事务处理等高级处理,而InnoDB类型支持。MyISAM类型的表强调的是性能,其执行速度比InnoDB类型更快

InnoDB 支持事务处理与外键和行级锁

1.InnoDB不支持FULLTEXT类型的索引

2.InnoDB 中不保存表的具体行数,也就是说,执行select count(*) from table时,InnoDB要扫描一遍整个表来计算有多少行,但是MyISAM只要简单的读出保存好的行数即可。注意的是,当count(*)语句包含 where条件时,两种表的操作是一样的


5.后50行命令
6.git 新建分支 回滚命令

1.http 网络 二面 
交换机 路由器区别

路由器可以把一个IP分配给很多个主机使用,这些主机对外只表现出一个IP

交换机工作在中继层,根据MAC地址寻址

tcp
dns 

1、在浏览器中输入www . qq .com 域名,操作系统会先检查自己本地的hosts文件是否有这个网址映射关系,如果有,就先调用这个IP地址映射,完成域名解析。

2、如果hosts里没有这个域名的映射,则查找本地DNS解析器缓存,是否有这个网址映射关系,如果有,直接返回,完成域名解析。

3、如果hosts与本地DNS解析器缓存都没有相应的网址映射关系,首先会找TCP/ip参数中设置的首选DNS服务器,在此我们叫它本地DNS服务器,此服务器收到查询时,如果要查询的域名,包含在本地配置区域资源中,则返回解析结果给客户机,完成域名解析,此解析具有权威性。

4、如果要查询的域名,不由本地DNS服务器区域解析,但该服务器已缓存了此网址映射关系,则调用这个IP地址映射,完成域名解析,此解析不具有权威性。

5、如果本地DNS服务器本地区域文件与缓存解析都失效,则根据本地DNS服务器的设置(是否设置转发器)进行查询,如果未用转发模式,本地DNS就把请求发至13台根DNS,根DNS服务器收到请求后会判断这个域名(.com)是谁来授权管理,并会返回一个负责该顶级域名服务器的一个IP。本地DNS服务器收到IP信息后,将会联系负责.com域的这台服务器。这台负责.com域的服务器收到请求后,如果自己无法解析,它就会找一个管理.com域的下一级DNS服务器地址(http://qq.com)给本地DNS服务器。当本地DNS服务器收到这个地址后,就会找http://qq.com域服务器,重复上面的动作,进行查询,直至找到www . qq .com主机。

6、如果用的是转发模式,此DNS服务器就会把请求转发至上一级DNS服务器,由上一级服务器进行解析,上一级服务器如果不能解析,或找根DNS或把转请求转至上上级,以此循环。不管是本地DNS服务器用是是转发,还是根提示,最后都是把结果返回给本地DNS服务器,由此DNS服务器再返回给客户机。

布隆过滤器

https://zhuanlan.zhihu.com/p/43263751

布隆过滤器是一个 bit 向量或者说 bit 数组

不支持删除

如何解决这个问题,答案是计数删除。但是计数删除需要存储一个数值,而不是原先的 bit 位,会增大占用的内存大小。这样的话,增加一个值就是将对应索引槽上存储的值加一,删除则是减一,判断是否存在则是看值是否大于0

另外,既然你使用布隆过滤器来加速查找和判断是否存在,那么性能很低的哈希函数不是个好选择,推荐 MurmurHash、Fnv 这些。


1.mq 构成及协议
2.explain 内容 索引
3.redis 数据结构及缓存 
4.jwt token
5.前后台版本号
6.数据库批量操作 批量插入 更新 
7.注解和xml mybatis 区别
8.left join inner join 

9.resize 在哪里扩容

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
06-08
代码如下: ```scala import org.apache.spark.{SparkConf, SparkContext} object ECommerceAnalysis { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("ECommerceAnalysis").setMaster("local[*]") val sc = new SparkContext(conf) // 读取数据 val cityInfo = sc.textFile("city_info.txt") val productInfo = sc.textFile("product_info.txt") val userVisitAction = sc.textFile("user_visit_action.txt") // 1. 统计最受欢迎的品类,先排序点击-再是订单-最后是支付 val categoryCount = userVisitAction.flatMap(line => { val fields = line.split("\t") if (fields(6) != "-1") { // 点击 List((fields(6), (1, 0, 0))) } else if (fields(8) != "null") { // 订单 val orderIds = fields(8).split(",") orderIds.map(orderId => (orderId, (0, 1, 0))) } else if (fields(10) != "null") { // 支付 val paymentIds = fields(10).split(",") paymentIds.map(paymentId => (paymentId, (0, 0, 1))) } else { Nil } }).reduceByKey((x, y) => (x._1 + y._1, x._2 + y._2, x._3 + y._3)) .map{case (categoryId, (clickCount, orderCount, paymentCount)) => (clickCount, orderCount, paymentCount, categoryId) }.sortBy(x => (x._1, x._2, x._3), false) .take(10) categoryCount.foreach{case (clickCount, orderCount, paymentCount, categoryId) => println(s"Category $categoryId: ClickCount: $clickCount, OrderCount: $orderCount, PaymentCount: $paymentCount") } // 2. 统计页面跳转率 val pageJumpCount = userVisitAction.map(line => { val fields = line.split("\t") val pageId = fields(5).toInt val sessionId = fields(2) val actionTime = fields(4) val actionType = fields(6).toInt (sessionId, (pageId, actionTime, actionType)) }).groupByKey().flatMap{case (sessionId, iter) => val actions = iter.toList.sortBy(_._2) val pageJumpActions = actions.zip(actions.tail) .filter{case (action1, action2) => action1._3 == 0 && action2._3 == 1} pageJumpActions.map{case ((pageId1, time1, _), (pageId2, time2, _)) => ((pageId1, pageId2), 1) } }.reduceByKey(_ + _) val pageVisitCount = userVisitAction.map(line => { val fields = line.split("\t") val pageId = fields(5).toInt val sessionId = fields(2) (sessionId, pageId) }).distinct().groupByKey().map{case (sessionId, iter) => val pageIds = iter.toList.sortBy(x => x) val pageVisitPairs = pageIds.zip(pageIds.tail) pageVisitPairs.map(pair => (pair, 1)) }.flatMap(x => x).reduceByKey(_ + _) val pageJumpRate = pageJumpCount.join(pageVisitCount).map{case ((pageId1, pageId2), (jumpCount, visitCount)) => (pageId1, (pageId2, jumpCount.toDouble / visitCount)) }.groupByKey().map{case (pageId, iter) => val pageJumpInfo = iter.toList.sortBy(-_._2).take(10) (pageId, pageJumpInfo) } pageJumpRate.foreach{case (pageId, pageJumpInfo) => println(s"Page $pageId: ${pageJumpInfo.mkString(", ")}") } // 3. 不同区域内的热门商品Top3 val cityProductCount = userVisitAction.flatMap(line => { val fields = line.split("\t") val cityId = fields(3) val productId = fields(6) if (productId != "-1") { List(((cityId, productId), 1)) } else { Nil } }).reduceByKey(_ + _) val cityTop3Product = cityProductCount.map{case ((cityId, productId), count) => (cityId, (productId, count)) }.groupByKey().map{case (cityId, iter) => val top3Product = iter.toList.sortBy(-_._2).take(3) (cityId, top3Product) } val cityMap = cityInfo.map(line => { val fields = line.split(" ") (fields(0), fields(1)) }).collectAsMap() cityTop3Product.map{case (cityId, top3Product) => val cityName = cityMap.getOrElse(cityId, "Unknown") val top3ProductStr = top3Product.map{case (productId, count) => s"$productId:${count}" }.mkString(", ") (cityName, top3ProductStr) }.foreach{case (cityName, top3ProductStr) => println(s"$cityName: $top3ProductStr") } // 4. 自定义需求 // 按小时统计访问人数 val hourVisitCount = userVisitAction.map(line => { val fields = line.split("\t") val timestamp = fields(4) val hour = timestamp.substring(11, 13) (hour, 1) }).reduceByKey(_ + _) hourVisitCount.sortByKey().foreach{case (hour, count) => println(s"Hour $hour: $count") } sc.stop() } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值