recyclerview的item 通过代码addview()添加控件,item内部控件的事件点击发生错位

项目中有这么一个需求:
要做一个类似相册功能,多张相册滑动,但是每个页面中可能有多张图片组成,位置不确定,需要后台确定.
看完需求后,想都不用想直接使用recyclerview,item的根布局为Relativelayout,通过LayoutParams和后台给的数据确定位置和大小,最后addView添加到viewGroup中:效果和预想的一样

但是最后滑动多张后,发现点击空白处,实际上对应其他页面相同位置的ImageView,这是怎么回事呢?
最后通过调试,发现在滑动的时候通过调用onBindViewHolder(),itemview不断addView,导致一个itemView上添加了多个itemView的内容.
最后在onBindViewHolder()函数开头添加一句代码:rootView.removeAllViews()